检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建DLI表关联DDS 功能描述 使用CREATE TABLE命令创建DLI表并关联DDS上已有的collection。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI
数据库相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 创建数据库 DLI提供创建数据库的接口。您可以使用该接口创建数据库，示例代码如下： 1 2 3 4 5 6 7
Flink作业相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 新建SQL作业 DLI提供新建Flink SQL作业的接口。您可以使用该接口新建Flink SQL作业并提交到DLI，示例代码如下：
创建DLI表关联HBase 功能描述 使用CREATE TABLE命令创建DLI表并关联HBase上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI
'source.monitor-interval'='' ); 参数说明 目录监控 默认情况下，文件系统连接器是有界的，也就是只会扫描配置路径一遍后就会停止。 如果需要，可以通过设置 source.monitor-interval 属性来开启目录监控，以便在新文件出现时继续扫描。
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 操作前准备 import相关依赖包 1 2 3 from __future__ import
在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 操作前准备 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
登录DLI管理控制台，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，单击右上角“创建”可创建程序包。 在“创建程序包”对话框，配置如下参数： 包类型：PyFile。 OBS路径：选择1.aegg包所在的OBS路径。 分组设置和分组名称根据情况选择。 单击“确定”完成程序包上传。
TABLE命令创建DLI表并关联RDS上已有的表。该功能支持访问RDS的MySQL集群和PostGre集群。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI
是否仅通过域名访问es节点，默认为false。使用经典型跨源的连接地址作为es.nodes时，该参数需要配置为true；使用css服务提供的原始内网IP地址作为es.nodes时，不需要填写该参数或者配置为false。 es.mapping.id 指定一个字段，其值作为es中Document的id。
创建DLI表关联DCS 功能描述 使用CREATE TABLE命令创建DLI表并关联DCS上已有的Key。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表
urce表和Sink表，并指定它们的连接器类型以及相关的属性。 如果需要将数据写入到不同的Elasticsearch集群，您需要为每个集群配置不同的连接参数，并确保Flink作业能够正确地将数据路由到各个集群。 例如本例中分别对es1和es2定义连接器类型以及相关的属性。 在对应的Flink作业中添加如下SQL语句。
HBase，连接超时，日志未打印错误怎么办？ 用户在跨源连接中没有添加集群主机信息，导致KRB认证失败，故连接超时，日志也未打印错误。 建议您重新配置主机信息后再重试访问MRS HBase。 在“增强型跨源”页面，单击该连接“操作”列中的“修改主机信息”，在弹出的对话框中，填写主机信息。
检查安全组网络（vpc）配置。 若按照步骤1重建跨源连接后还是报错“communication link failure”，则检查vpc配置。 经典型跨源： 入方向规则：检查本安全组内的入方向网段及端口是否已开放，若没有则添加。 检查网段及端口是否配置。 图2 检查网段及端口是否配置 如果不存在，则进行添加。
测试地址连通性 单击“测试”。 如果测试地址可连通，页面上将提示地址可达。 如果测试地址不可连通，页面上将提示地址不可达，请检查网络配置后重试。检查网络配置即检查所测试的VPC对等连接或跨源连接是否处于已激活状态。 相关操作 创建跨源成功但测试网络连通性失败怎么办？ 父主题： 管理队列
/krb5.conf'。具体详情参考开启Kerberos认证时的相关配置文件。 keytab 开启Kerberos认证后的keytab文件路径，格式为'./user.keytab'。具体详情参考开启Kerberos认证时的相关配置文件。 principal 开启Kerberos认证后创建的用户名。
在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 构造依赖信息，创建SparkSession 导入依赖。 涉及到mvn依赖 1 2 3 4
String 连接数据库所需要的驱动。若未配置，则会自动通过URL提取。 username 否 无 String 数据库认证用户名，需要和'password'一起配置。 password 否 无 String 数据库认证密码，需要和'username'一起配置。 scan.partition
完全可以配置为基于时间的方式往桶中写入数据，比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。 桶目录中的数据被拆分成多个Part文件。对于相应的接收数据的桶的Sink的每个Subtask，每个桶将至少包含一个Part文件。将根据配置的滚动策略来创建其他Part文件。对于Row
长难复杂变量，简化复杂参数，提升SQL语句可读性。 本节操作为您介绍如何创建全局变量。 创建全局变量 在DLI控制台左侧导航栏中单击“全局配置 > 全局变量”。 在“全局变量”页面，单击右上角“创建变量”，可创建新的全局变量。 表1 全局变量参数说明 参数名称 描述 变量名称 所创建的全局变量名称。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
