检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Jar作业只能运行在预先创建的独享队列上。 如果“所属队列”下拉框中无可用的独享队列，请先创建一个独享队列并将该队列绑定到当前用户 选择Flink Jar作业运行的队列 应用程序 用户自定义的程序包 自定义的程序包 主类 指定加载的Jar包类名，如FlinkDisToDisExample。
field：进行分桶时计算Hash值的字段，必须为主键的子集，默认为Hudi表的主键。该参数不填则默认为recordkey.field。 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
EXCEPT_KEY：记录的value部分包含schema的所有内容，定义为主键的字段除外。 properties.* 否 无 String 该选项可以传递任意的Kafka参数。 “properties.”后的后缀名必须匹配定义在 kafka参数文档中的参数名。 Flink会自动移除选项名中的 "properties
该示例是从Kafka的一个topic中读取数据，并使用Kafka结果表将数据写入到kafka的另一个topic中。 参考增强型跨源连接，根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网
该字段对应的值作为redis的hash数据类型的value。而当使用map时，会将flink中该字段值的key作为redis的hash数据类型的field，该字段值的value作为redis hash数据类型的value。其具体示例如下： 对于fields： 创建的Flink作业运行脚本如下：
该字段对应的值作为redis的hash数据类型的value。而当使用map时，会将flink中该字段值的key作为redis的hash数据类型的field，该字段值的value作为redis hash数据类型的value。其具体示例如下： 对于fields： 创建的Flink作业运行脚本如下：
json数据类型的数据，输出到日志文件中。 参考增强型跨源连接，根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通
Queries）可以读到最新的commit/compaction产生的快照。对于MOR表，还会在查询中合并最新的delta log文件的内容，使读取的数据近实时。 增量查询 增量查询（Incremental Queries）只会查询到给定的commit/compaction之后新增的数据。 读优化查询
优先推荐您使用控制台提供的“元数据来源”参数项进行配置。 Lakeformation 数据目录名称 配置Spark作业访问的数据目录名称。 此处选择的是在DLI管理控制台创建的数据目录，即DLI与Lakeformation默认实例下的数据目录的映射，该数据目录连接的是LakeForma
查看弹性资源池扩缩容历史 操作场景 当弹性资源池添加队列、删除队列，或添加的队列扩缩容时，可能会引起弹性资源CUs扩缩容变化。控制台提供的“扩缩容历史”功能，可以查看弹性资源池的CUs变化历史。 约束与限制 当前控制台仅支持查看30天以内的弹性资源池扩缩容历史。 查看弹性资源池扩缩容历史 在DLI管理控制台左侧，选择“资源管理
检查对端安全组是否放通队列的网段 创建完跨源连接后，连接的Kafka、DWS、RDS等实例还需要在实例的安全组下添加DLI网段的安全组规则。以对端连接RDS为例： 在DLI管理控制台，单击“资源管理 > 队列管理”，选择您所绑定的队列，单击队列名称旁的按钮，获取队列的网段信息。 在RDS
S表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括：创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已创建OBS的桶。具体OBS操作可以参考《对象存储服务用户指南》。本指导中的OBS桶名都为“dli-test-021”。
请参见流水与明细账单。 图3 查询数据存储的资源账单 查看数据扫描量的资源账单 DLI的default队列采用数据扫描量的计费方式。扫描量计费=单价*扫描量数据（GB）。怎样查看DLI的数据扫描量？ 您可以在费用中心查询DLI数据扫描量的资源账单。 在控制台顶部菜单栏中选择“费用与成本
创建弹性资源池后，您可以在弹性资源池中创建多个队列，队列关联到具体的作业和数据处理任务，是资源池中资源被实际使用和分配的基本单元，即队列是执行作业所需的具体的计算资源。 同一弹性资源池中，队列之间的计算资源支持共享。 通过合理设置队列的计算资源分配策略，可以提高计算资源利用率。 具体操作请参考：创建弹性资源池并添加队列。
对于批量初始化后需要接Flink或Spark流作业实时写入的场景，一般建议通过对上有消息进行过滤，从一个指定的时间范围开始消费来控制数据的重复接入量（例如Spark初始化完成后，Flink消费Kafka时过滤掉2小时之前的数据），如果无法对kafka消息进行过滤，则可以考虑先实时
添加数据源的相关配置，请参见图1。 驱动：上传下载的DLI JDBC驱动。 URL：后面填写DLI jdbc的URL，URL的格式见表2，属性配置项说明见表3。 指定数据库： “表结构模式”可填写需访问的数据库名称，如果填写，后续创建数据集时，刷新表，页面上只可见该数据库下的表。如果
确认短信的手机号码。 如果选择“邮件”协议，需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息，请参考《消息通知服务用户指南》中《添加订阅》章节。 图4 添加订阅 通过单击短信或者邮件中的链接确认后，将收到“订阅成功”的信息。 在消息通知服务的“订阅”页面，对应的订阅状态为“已确认”，表示订阅成功。
查看弹性资源池详细信息，根据计算资源的类型选择结束计费需要执行的操作。 按需计费的弹性资源池如不再使用，可删除资源停止计费。 按需计费资源删除后，可能还会存在账单信息，因为系统通常会在使用后1个小时内对上一个结算周期的费用进行扣款。例如在8:30删除按小时结算的资源，但是8:00~9:00期间产生的费用，通常会在10:00左右才进行扣费。
Studio执行DLI作业的job id。 图1 查看日志 图2 查找job id 在DLI控制台，选择“作业管理”>“SQL作业”。 在SQL作业管理页面，输入对应的job id，找到对应的作业。 在“操作”列中，单击“更多”>“归档日志”>“下载日志到本地”。 图3 归档日志 在所下载的日志中搜
在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个Flink作业设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。 Flink 1.
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
