检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击CDM集群后的“作业管理”，进入作业管理界面。 选择“连接管理 > 新建连接”，进入选择连接器类型的界面，如图4所示。 图4 选择连接器类型 选择“数据湖探索（DLI）”后单击“下一步”，配置DLI连接的参数。 单击“显示高级属性”可查看更多可选参数，具体请参见配置DLI连接。这里保持默认，必填参数如表2所示。
服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
Access”是跨源场景访问和使用VPC、子网、路由、对等连接的权限。 了解更多DLI委托权限请参考DLI委托权限。 选择dli_management_agency需要包含的权限后，并单击“更新委托权限”。 图1 更新委托权限 委托更新完成后，重新创建跨源连接和运行作业。 父主题： Flink Jar作业类
MERGE INTO 命令功能 通过MERGE INTO命令，根据一张表或子查询的连接条件对另外一张表进行查询，连接条件匹配上的进行UPDATE或DELETE，无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作，执行效率要高于INSERT＋UPDATE。 注意事项
前提条件 该场景作业需要运行在DLI的独享队列上，要与kafka集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项
创建JDBC维表 创建JDBC表用于与输入流连接。 前提条件 请务必确保您的账户下已创建了相应实例。 语法格式 1 2 3 4 5 6 7 8 9 10 11 CREATE TABLE table_id ( attr_name attr_type ('
connector.url 是 jdbc连接地址，格式为：jdbc:postgresql://${ip}:${port}/${dbName} 。 connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 jdbc连接驱动，默认为: org.postgresql
“databases.数据库名.tables.表名.columns.列名”，指定的列将被共享。 “edsconnections.连接ID”，赋予某增强型跨源连接的使用权限。 privileges 是 Array of strings 待赋权，回收或更新的权限列表。 说明： 若“act
确保已创建Kafka集群。 该场景作业需要运行在DLI的独享队列上，因此要与Kafka集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 Fli
OpenTSDB连接地址。 访问CloudTable OpenTSDB，填写OpenTSDB链接地址，具体可以登录CloudTable控制台，单击“集群模式 > 集群名称”，在集群信息获取OpenTSDB链接地址。 访问MRS OpenTSDB，若使用增强型跨源连接，填写OpenT
数据库时区。 这里它指向 'SYSTEM'，也就是数据库服务器的系统时间（'system_time_zone'）。而这个系统时间在这里指向 CST，所以，最终数据库时区才是 CST。 time_zone 数据库所在服务器的时区，服务器是台主机。 如本地数据库所在计算机的默认时区是中国标准时间，则查出来
java样例代码 开发说明 本样例只适用于MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
'krbtest')") 表1 创建表参数 参数 说明 ZKHost HBase集群的ZK连接地址。 获取ZK连接地址需要先创建跨源连接。具体操作请参考《数据湖探索用户指南》。 访问CloudTable集群，填写ZK连接地址（内网）。 访问MRS集群，填写ZK所在节点IP与ZK对外端口，格式为："ZK_IP1:ZK_PORT1
HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源，如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的
Hive维表 功能描述 您可以将Hive表用作时态表，通过时态连接来关联Hive表。有关时态连接的详细信息，请参阅 temporal join。 Flink支持processing-time temporal join Hive Table，processing-time temporal
java样例代码 开发说明 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库
pyspark样例代码 开发说明 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 import相关依赖包
Driver')") 表1 创建表参数 参数 说明 url RDS的连接地址，需要先创建跨源连接，管理控制台操作请参考《数据湖探索用户指南》。 创建经典型跨源连接后，使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后，使用RDS提供的"内网域名"或者内网地址和数据库端口访问，M
java样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或
dli_queue：队列 dli_elastic_resource_pool：弹性资源池 dli_enhanced_datasource：增强型跨源连接 dli_database：数据库 dli_package_resource：资源包（不支持指定有Module ID的内置资源包） dli_flink_job：Flink作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
