检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PyFile：用户Python文件 File：用户文件 ModelFile：用户AI模型文件 JAR OBS路径 选择对应程序包的OBS路径。 说明： 程序包需提前上传至OBS服务中保存。 只支持选择文件。 Flink Jar所在的OBS路径 分组名称 选择“已有分组”：可选择已有的分组。 选择“创建新分组”：可输入自定义的组名称。
schema) // 步骤3：配置写入的表名和OBS路径 val databaseName = "default" val tableName = "hudi_table" val basePath = "obs://bucket/path/hudi_table"
从Kafka读取数据写入到RDS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为根据商品的实时点击量，获取每小时内点击量最高的3个商品及其相关信息。商品的实时点击量数据为输入源发送到Kafka中，再将Kafka数据的分析结果输出到RDS中。 例如，输入如下样例数据：
创建弹性资源池并添加队列 弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存），用于灵活应对业务对计算资源变化的需求。 创建弹性资源池后，您可以在弹性资源池中创建多个队列，队列关联到具体的作业和数据处理任务，是资源池中资源被实际使用和分配的基本单元，即队列是执行作业所需的具体的计算资源。
查询结果。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/jobs/{job_id}/preview 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String
行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( target
源表上的SELECT查询（支持DLI表、OBS表）。 values_row 想要插入到表中的值，列与列之间用逗号分隔。 注意事项 表必须已经存在。 如果动态分区不需要指定分区，则将“part_spec”作为普通字段放置SELECT语句中。 被插入的OBS表在建表时只能指定文件夹路径。 源
创建目的端DLI数据源的连接。 登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在作业管理界面，选择“连接管理”，单击“新建连接”，连接器类型选择“数据湖探索（DLI）”，单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数
创建Flink Jar作业 Flink Jar作业是基于Flink能力进行二次开发的场景，即构建自定义应用Jar包并提交到DLI的队列运行。 Flink Jar作业场景需要用户自行编写并构建应用Jar包，适用于对流计算处理复杂度要求较高的用户场景，且用户可以熟练掌握Flink二次开发能力。
SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 您可以使用本文档提供API对数据湖探索进行相关操作，包括队列、SQL作业、Flink
( 'connector' = 'filesystem', 'format' = 'parquet', 'path' = 'obs://xx' ); insert into sink select * from kafkaSource; 向kafka的作为source的topic中插入下列数据：
计算配置，建议作业最大并行数为计算单元2倍为宜。 勾选“保存作业日志”，选择一个OBS桶。如果该桶未授权，需要单击“立即授权”进行授权。配置该参数，可以在作业异常失败后，将作业日志保存到用户的OBS桶下，方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”，选择1中创
作业配置的每个TaskManager所占CU数量。 单TM Slot数 作业配置的每个TaskManager Slot数量。 OBS桶 作业配置了OBS桶显示。当勾选“开启Checkpoint”和“保存作业日志”参数后，用于保存Checkpoint和作业运行日志。 保存作业日志 开启或关闭。
并且促使各个厂商以及研究机构将该项技术推向极限。 本示例将演示DLI直接对存储在OBS中的TPC-H数据集进行查询的操作，DLI已经预先生成了100M的TPC-H-2.18的标准数据集，已将数据集上传到了OBS的tpch文件夹中，并且赋予了只读访问权限，方便用户进行查询操作。 TPC-H的测试和度量指标
单击右上角“导出作业”，打开“导出作业”对话框。 图2 导出作业 选择保存作业的OBS桶。单击“下一步”。 选择待导出的作业。 默认导出所有作业，也可以勾选“自定义导出”选择需要导出的作业。 单击“确认导出”，完成导出作业。 导入作业 用户可以将保存在OBS桶中的Flink作业配置文件导入至DLI的Flink作业管理中。
OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 语法格式 1 2 3 4 5 6 7 8 9 create table printSink ( attr_name
1008L) or ts >= 1009L', order => 'ts'); call run_clustering(path => 'obs://bucket/path/hudi_test2', predicate => "dt = '2021-08-28'", order =>
策略名称：可以使用默认名称，也可以自定义。 作用范围：选择“项目级服务”。 策略配置方式：选择“可视化视图”。 策略内容：依次选择“允许”，“数据湖探索”，“dli:jobs:list_all”。 单击“确认”，创建策略。 图3 创建策略 在“用户组”页面，找到需要授权的用户所属的用户组，单击用户组名称，进入用
否 无 String Elasticsearch集群的证书在OBS中的位置。 仅在开启安全模式，且开启https下需要配置该参数。 请先在CSS管理控制台下载证书后将证书上传至OBS，该参数配置的是OBS地址。 例如：obs://bucket/path/CloudSearchService
Location: obs://bucket/user/hive/warehouse/fruit Table Type:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
