检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2021-03-25 12:03:00,0002,Bob,330110) 常见问题 Q：Flink作业运行失败，作业运行日志中如下报错信息，应该怎么解决？ Caused by: org.apache.flink.client.program.ProgramInvocationException:
timestamp=2021-12-16T21:30:52.181, value=Bob 常见问题 Q：Flink作业运行失败，作业运行日志中如下报错信息，应该怎么解决？ org.apache.zookeeper.ClientCnxn$SessionTimeoutException: Client session
入门实践 我们整理了从队列网络连通、不同类型的作业分析、数据迁移场景的常用开发指南和最佳实践内容，帮助您更好的使用DLI进行大数据分析和处理。 表1 DLI常用开发指南与最佳实践 场景 操作指导 描述 队列网络连通 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连
开源Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务
2021-03-25 12:03:00,0002,Bob,330110) 常见问题 Q：Flink作业运行失败，作业运行日志中如下报错信息，应该怎么解决？ Caused by: org.apache.flink.client.program.ProgramInvocationException:
有 4 列 (id, name, description and weight). 上面的 JSON 消息是 PRODUCTS 表上的一条更新事件，其中 id = 111 的行的 weight 值从 5.18 更改为 5.15。 { "before": { "id":
return null; } else { return acc.sum / acc.count; } } // 根据输入更新中间计算值 public void accumulate(WeightedAvgAccum acc, long iValue) { acc
return null; } else { return acc.sum / acc.count; } } // 根据输入更新中间计算值 public void accumulate(WeightedAvgAccum acc, long iValue) { acc
全局配置 > 服务授权”。 在委托设置页面，勾选基础使用、跨源场景、运维场景的委托权限后，单击“更新委托权限”。 查看并了解更新委托的提示信息，单击“确定”。完成DLI委托权限的更新。 图1 配置DLI委托访问授权 完成配置后，在IAM控制台的委托列表中，可查看到dli_management_agency的委托信息。
timestamp=2021-12-16T21:30:52.181, value=Bob 常见问题 Q：Flink作业运行失败，作业运行日志中如下报错信息，应该怎么解决？ org.apache.zookeeper.ClientCnxn$SessionTimeoutException: Client session
DLI SDK简介 DLI SDK简介 数据湖探索服务软件开发工具包（DLI SDK，Data Lake Insight Software Development Kit）是对DLI服务提供的REST API进行的作业提交的封装，以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI
√ RESOURCE_MANAGEMENT 弹性资源池资源管理 √ × √ √ SCALE 扩缩容弹性资源池 √ × √ √ UPDATE 更新弹性资源池 √ × √ √ CREATE 创建弹性资源池 √ × √ √ SHOW_PRIVILEGES 查看其他用户具备的弹性资源池权限
如果JDBC结果表定义了主键，则连接器以upsert模式运行，否则，连接器以Append模式运行。 upsert模式：Flink会根据主键插入新行或更新现有行，Flink可以通过这种方式保证幂等性。为保证输出结果符合预期，建议为表定义主键。 Append模式：Flink 会将所有记录解释为
L products 表有4列（id，name，description 和 weight）。JSON 消息是 products 表上的一个更新事件，表示 id = 111 的行数据上 weight 字段值从5.15变更成为 5.18。 { "data": [ {
如果JDBC结果表定义了主键，则连接器以upsert模式运行，否则，连接器以Append模式运行。 upsert模式：Flink会根据主键插入新行或更新现有行，Flink可以通过这种方式保证幂等性。为保证输出结果符合预期，建议为表定义主键。 Append模式：Flink 会将所有记录解释为
MRS Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。MRS基于Apache
n_agency。 仅Flink 1.15和Spark 3.3.1（Spark通用队列场景）及以上版本的引擎执行作业支持配置自定义委托。 更新委托权限后，系统将升级您的dli_admin_agency为dli_management_agency，新的委托包含跨源操作、消息通知、用
SQL作业模板 Flink OpenSource SQL作业模板 描述 模板的相关描述，且长度为0～512个字符。 创建时间 创建模板的时间。 更新时间 最后修改模板的时间。 操作 “编辑”：对已经创建好的模板进行修改。 “创建作业”：直接在该模板下创建作业，创建完后，系统跳转到“作业管理”下的作业编辑页面。
Upsert Kafka结果表 功能描述 DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。
MRS Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。MRS基于Apache
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
