Flink Jar作业开发指南-华为云

数据湖探索 DLI-使用Flink Jar读写DIS开发指南:常见问题

常见问题 Q：作业运行失败，运行日志中有如下报错信息，应该怎么解决？ java.lang.NoSuchMethodError: org.apache.flink.api.java.ClosureCleaner.clean(Ljava/lang/Object;Z)V A：该问题是因为所选择的huaweicloud-dis-flink-connector_2.11版本过低导致，请选择2.0.1及以上版本。 Q：运行作业读取DIS数据时，无法读出数据且Taskmanager的运行日志中有如下报错信息，应该怎么解决？ ERROR com.huaweicloud.dis.adapter.common.consumer.Coordinator [] - Failed to getCheckpointAsync, error : [400 : {"errorCode":"DIS.4332","message":"app not found. "}], request : [{"stream_name":"xx","partition_id":"shardId-0000000000","checkpoint_type":"LAST_READ","app_name":"xx"}] A: 该问题是因为读取DIS数据所使用的group.id在DIS的Apps中并没有提前创建。

数据湖探索 DLI Flink Jar作业开发指南

数据湖探索 DLI-使用Flink Jar读写DIS开发指南:环境准备

环境准备已在 DLI 控制台购买了通用队列。已购买了DIS通道。开通DIS通道。用户在使用Flink 1.12版本，则依赖的Dis connector版本需要不低于2.0.1，详细代码参考DISFlinkConnector相关依赖，如何配置connector，详细参考自定义Flink Streaming作业。若读取DIS，且配置groupId，则需要提前在DIS的“App管理”中创建所需的App名称。请勿将disToDis.properties放在生成的jar包中，在代码里有关于disToDis.properties的路径，如果放在jar包中，代码会找不到disToDis.properties路径。

数据湖探索 DLI Flink Jar作业开发指南

数据湖探索 DLI-Flink Jar作业开发基础样例:环境准备

环境准备登录 MRS 管理控制台，创建MRS集群，选择“开启kerberos”，勾选“Kafka”, “HBase”, “HDFS”等。请参见《 MapReduce服务用户指南》的“购买自定义集群”的章节创建MRS。 “安全组规则”开通对应UDP/TCP端口。详细内容请参考《私有云用户指南》中的“添加安全组规则”章节。进入MRS manager管理界面：创建机机账号，需确保该用户含有“hdfs_admin”, “hbase_admin”权限，下载该用户认证凭据，其中包含“user.keytab” 和 “krb5.conf” 文件。由于人机账号的keytab会随用户密码过期而失效，故建议使用机机账号进行配置。单击“服务管理”，下载客户端，单击“确定”。在MRS节点上下载配置文件，所需集群配置文件包含“hbase-site.xml”和“hiveclient.properties”。创建弹性资源池和队列。弹性资源池与队列为DLI作业提供计算资源，创建弹性资源池，弹性资源池添加队列。使用该DLI独享队列与MRS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。获取MRS集群全部节点的ip和域名映射，在DLI跨源连接修改主机信息中配置host映射。如何添加IP域名映射，请参见《数据湖探索用户指南》中“修改主机信息”章节。 Kafka服务端的端口如果监听在hostname上，则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。

数据湖探索 DLI Flink Jar作业开发指南

数据湖探索 DLI-Flink Jar作业开发基础样例:相关操作

相关操作怎样设置作业的参数？在FLink作业列表中选择待编辑的作业。单击操作列“编辑”。在参数区域输入参数信息。指定类的参数列表，参数之间使用空格分隔。参数输入格式：--key1 value1 --key2 value2 例如：控制台入输入的参数 --bootstrap.server 192.168.168.xxx:9092 通过ParameterTool解析后的参数如下所示：图5 解析后的参数怎样查看作业日志？在FLink作业列表中点击作业名称，进入作业详情页面。单击“运行日志”，即可在控制台查看作业日志。此处只展示最新的运行日志，更多信息请查看保存日志的OBS桶。

数据湖探索 DLI Flink Jar作业开发指南

云服务器内容精选

Flink Jar作业开发指南

7*24

备案

专业服务

退订

建议反馈

售前咨询热线