检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 创建增强型跨源连接之前需要获取需要建立连接的服务对应VPC的ID和其所在子网的网络ID。获取VPC的ID接口，具体请参考《虚拟私有云API参考》。获取子网网络ID接口，具体请参考《虚拟私有云API参考》。 涉及接口 创建弹性资源池：创建弹性资源池。
参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 队列名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 action
参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 object 是 String 授权对象，和赋权API中的“object”对应。 "jobs.flink
先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DWS之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。 语法格式 1 2 3 4 5 6 CREATE TABLE [IF NOT EXISTS] TABLE_NAME
SQL作业开发 Flink Jar作业开发基础样例 使用Flink Jar写入数据到OBS开发指南 使用Flink Jar连接开启SASL_SSL认证的Kafka 使用Flink Jar读写DIS开发指南 Flink作业委托场景开发指导
Jar作业是否支持上传配置文件，要如何操作？ Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI； 在Flink jar作业的其他依赖文件参数中，选择创建的DLI程序包； 在代码中通过ClassName.class.getClassLoader()
步骤6：发送数据和查询结果：Kafka上发送流数据，在RDS上查看运行结果。 步骤1：创建队列 登录DLI管理控制台，在左侧导航栏单击“资源管理 > 队列管理”，可进入队列管理页面。 在队列管理界面，单击界面右上角的“购买队列”。 在“购买队列”界面，填写具体的队列配置参数，具体参数填写参考如下。
URI格式：POST /v3/{project_id}/elastic-resource-pools {project_id}信息请从获取项目ID获取。 请求参数说明详情，请参见创建弹性资源池。 请求示例 描述：在项目ID为48cc2c48765f481480c7db940d640
自研SDK的使用方法。相关开发包请从华为云DLI 开发工具包（SDK）获取。 Java SDK操作指导请参考Java SDK Python SDK操作指导请参考Python SDK DLI SDK调用接口使用https进行访问，有服务端使用证书。
0/{project_id}/sqls 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 keyword 否 String 用于过滤SQL模板的关键字。
空间，并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤： 步骤1：获取消费数据。获取账户的实际消费数据。 步骤2：分析账户消费结构并优化。在DLI上分析账户消费结构，找出开支较大的资源或用户，并给出降底成本的优化措施。
否 跨源认证信息名称。跨源认证信息类型为“Kafka_SSL”时，该参数有效。 说明： 指定该配置项时，服务仅加载该认证下指定的文件和密码，系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息，需要用户手动在“kafka_properties”属性中配置。
步骤二：数据迁移 配置CDM数据源连接。 配置源端MRS Hive的数据源连接。 登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在作业管理界面，选择“连接管理”，单击“新建连接”，连接器类型选择“MRS Hive”，单击“下一步”。 图3 创建MRS Hive数据源连接
否 跨源认证信息名称。跨源认证信息类型为“Kafka_SSL”时，该参数有效。 说明： 指定该配置项时，服务仅加载该认证下指定的文件和密码，系统将自动设置到“kafka_properties”属性中。 Kafka SSL认证需要的其他配置信息，需要用户手动在“kafka_properties”属性中配置。
Hbase源表 功能描述 创建source流从HBase中获取数据，作为作业的输入数据。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析
步骤6：发送数据和查询结果：Kafka上发送流数据，在CSS上查看运行结果。 步骤1：创建队列 登录DLI管理控制台，在左侧导航栏单击“资源管理 > 队列管理”，可进入队列管理页面。 在队列管理界面，单击界面右上角的“购买队列”。 在“购买队列”界面，填写具体的队列配置参数，具体参数填写参考如下。
Hbase源表 功能描述 创建source流从HBase中获取数据，作为作业的输入数据。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析
SQL日志。 操作步骤 在DataArts Studio控制台获取DataArts Studio执行DLI作业的job id。 图1 查看日志 图2 查找job id 在DLI控制台，选择“作业管理”>“SQL作业”。 在SQL作业管理页面，输入对应的job id，找到对应的作业。 在“操
4”及以上版本的CSS集群且集群已开启安全模式。 Kerberos类型的跨源认证：适用于开启Kerberos认证的MRS安全集群。 Kafka_SSL类型的跨源认证：适用于开启SSL的Kafka。 Password类型的跨源认证：适用于DWS、RDS、DDS、DCS数据源。 更多跨源认证约束限制请参考跨源认证简介。
将对应的Jar包上传至OBS桶中，并在“数据管理>程序包管理”中创建程序包，包类型选择“jar”，具体请参考创建程序包。 其他依赖文件 用户自定义的依赖文件。在选择依赖文件之前需要将对应的文件上传至OBS桶中，并在“数据管理>程序包管理”中创建程序包，包类型没有限制，具体请参考创建程序包。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
