检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其他功能按钮说明如下: 另存为:将新建作业另存为一个新作业。 相关操作 怎样设置作业的参数? 在FLink作业列表中选择待编辑的作业。 单击操作列“编辑”。 在参数区域输入参数信息。 指定类的参数列表,参数之间使用空格分隔。 参数输入格式:--key1 value1 --key2
dli_to_rd").show(); 插入数据后: 提交Spark作业 将写好的代码生成jar包,上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 创建Spark作业完成后,在控制台单击右上角“执行”提交作业,页面显示“批处理作业提
参考Kafka源表和Print结果表创建flink opensource sql作业,输入以下作业运行脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。
用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 创
航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板后,根据具体需求编辑策略内容;也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见:创建自定义策略。本章为您介绍常用的DLI自定义策略样例。 策略字段介绍
创建UDAF函数。 登录登录DLI管理控制台,创建SQL队列和数据库。 登录DLI管理控制台,单击“SQL编辑器”,执行引擎选择“spark”,选择已创建的SQL队列和数据库。 在SQL编辑区域输入下列命令创建UDAF函数,单击“执行”提交创建。 如果该客户开启了自定义函数热加载功能,注册语句会发生变化。
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认
OpenSource SQL”,名称填写为:FlinkCDCMySQLDWS。单击“确定”,跳转到Flink作业编辑界面。 在Flink OpenSource SQL作业编辑界面,配置如下参数,其他参数默认即可。 所属队列:选择步骤1:创建队列中创建的队列。 Flink版本:选择1.12。
登录OBS控制台,将生成的Jar包文件上传到OBS路径下。 登录DLI控制台,选择“作业管理 > Spark作业”。 单击操作列“编辑”。 编辑“应用程序”,选择1上传的OBS地址。 图11 配置应用程序 Spark 3.3以下版本: 分别上传Jar包到OBS和DLI下。 登录
数中不指定print-identifier。 parallelism == 1 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式
options(map).load().show(); 操作结果 提交Spark作业 将写好的java代码文件上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys
自定义委托及配置请参考自定义DLI委托权限。 使用该功能,所有涉及OBS的桶,都需要进行配置AKSK。 语法格式 在Flink jar作业编辑界面,选择配置优化参数,配置信息如下: 不同的OBS桶,使用不同的AKSK认证信息。 可以使用如下配置方式,根据桶指定不同的AKSK信息,参数说明详见表1。
、REPLICATION SLAVE和REPLICATION CLIENT权限。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 同
用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 创
用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 P
详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认
用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 Upsert
用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。
提交作业的用户名称。 创建时间 每个作业的创建时间。 开始时间 Flink作业开始运行的时间。 运行时长 作业运行所消耗的时间。 操作 编辑:编辑已经创建好的作业。 启动:启动作业并运行。 更多 FlinkUI:单击后,将跳转至Flink任务运行情况界面。 说明: 如果是新建队列,