flink读取不到文件_大数据培训课程之Flink部署

news/2024/7/5 3:17:50

1 standalone模式

1.1 安装

解压缩 flink-1.7.0-bin-hadoop27-scala_2.11.tgz

修改 flink/conf/flink-conf.yaml 文件

279d894f215b0a26dd2054d07b5b0905.png

修改 /conf/slave文件

83d555c12d7b6a7c4aef0aedf7858573.png

.分发给 另外两台机子

85887960de6daf9378ede7bfcdbe913a.png

启动

5b576eb5cd0ceb9c71bbc7b9da39e8dd.png

访问http://hadoop1:8081

3ec3ddeb91c22fb47a97ce9bc806e19e.png

1.2 提交任务

1) 准备数据文件

4fe01393c3320db8f94f207452cc5c92.png

2) 把含数据文件的文件夹,分发到taskmanage 机器中

d113edfc1ac73eb7433f051aa80db9c3.png

由于读取数据是从本地磁盘读取,实际任务会被分发到taskmanage的机器中,所以要把目标文件分发。

3) 执行程序

./flink run -c com.atguigu.flink.app.BatchWcApp /ext/flink0503-1.0-SNAPSHOT.jar –input /applog/flink/input.txt –output /applog/flink/output.csv

058b59dbc894b5588a4c02883fdbb17c.png

4) 到目标文件夹中查看计算结果

a13a0c1ee1d7ef730167fe59cb5f3900.png

注意:计算结果根据会保存到taskmanage的机器下,不会再jobmanage下。

5) 在webui控制台查看计算过程

1576fc6f35207c70660e80a7f290ad89.png

文章来源:大数据培训

大数据培训课程之Flink部署 - 技术聚焦 - 尚硅谷​www.atguigu.com
95b58601515ba9f3fd656c77ca7dd731.png

http://www.niftyadmin.cn/n/3071546.html

相关文章

4月23日云栖精选夜读:阿里AI新物种!设计机器人两年赶上资深员工水平

2019独角兽企业重金招聘Python工程师标准>>> 4月21日,阿里巴巴第七届UCAN用户体验设计论坛上,一系列重磅消息接连抛出:内部孵化两年后,阿里设计机器人鲁班更名为“鹿班”,并首度开始向外输送服务能力&#…

jersey 过滤_在Jersey过滤器中访问请求和响应

在 Jersey ,可以添加 ContainerRequestFilter 或 ContainerResponseFilterpublic class RequestFilter implements ContainerRequestFilter {Overridepublic ContainerRequest filter(ContainerRequest containerRequest) {// logic}}public class ResponseFilter i…

spring boot 之如何在两个页面之间传递值(转)

原文地址:spring boot 之如何在两个页面之间传递值 问题:页面之间的跳转,通常带有值的传输,但是,在现在比较流行的SPRING MVC WEB 开发模型中,设计机制导致页面之间的直接接跳转和传值不被支持(…

【C# 大写金额转阿拉伯数字】大写金额转数值

public string DealNum(string num){string ReturnNum "";switch (num){case "零":ReturnNum "0";break;case "壹":ReturnNum "1";break;case "贰":ReturnNum "2";break;case "叁":Retur…

mysql分组后为0也显示_MySQL8.0功能详解——资源组管理

以下文章来源于MySQL解决方案工程师,作者徐轶韬MySQL8.0里包括一款功能——CPU资源分组管理。它实现的目的是将CPU资源分组,并且赋予运行不同类型的查询。通过它可以解决DBA的一些痛点,例如:夜间进行的批处理、大型报表非常耗费资…

国外、国内各大OJ

下面是几个比较大的在线提交系统(Online Judge)里面有大量历年的竞赛题目,注册一个ID,然后用自己熟悉的语言(一般有Pascal/C/C/Java)写好源代码提交即可,会实时返 回信息告诉你是否正确。采用黑…

python提取邮件里面的发件人

import reimport fileinput pat re.compile(From: (.*) <.*?>$)for line in fileinput.input("ab.txt"):m pat.match(line)if m:print(m.group(1))转载于:https://blog.51cto.com/victor2016/2108261

开发步骤_课程设计与开发七大步骤

课程设计与开发是每一位职业培训师都必须会的技能&#xff0c;今天我们就来分享一下课程都是如何开发的。课程开发可以分为以下七个步骤&#xff1a;步骤一&#xff1a;选定主题&#xff0c;考虑针对组织和学员的需求问题&#xff0c;最后以最紧迫&#xff0c;最需要&#xff0…