检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
典型场景示例：配置DLI与内网数据源的网络联通 背景信息 DLI与内网数据源的网络联通通常指的是华为云内部服务的场景，例如DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。使用DLI提供的增强型跨源连接，采用对等连接的方式打通DLI与目的数据源的VPC网络，实现数据互通。
跨源分析 当DLI有访问外部数据源的业务需求时，首先需要通过建立增强型跨源连接，打通DLI与数据源之间的网络，再开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。
FileSystem源表 功能描述 本节介绍FileSystem源表的定义，以及创建源表时使用的参数和示例代码。 前提条件 该场景作业需要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见
n 问题现象 客户通过DLI跨源表向CloudTable Hbase导入数据，原始数据：HBASE表，一个列簇，一个rowkey运行一个亿的模拟数据，数据量为9.76GB。导入1000W条数据后作业失败。 原因分析 查看driver错误日志。 查看executor错误日志。 查看task错误日志。
该字段的map的value需要为double类型，表示score，该字段的map的key表示redis的set中的值。 当data-type为sorted-set，且schema-syntax为array-scores时，除主键字段外，只能有两个非主键字段，且这两个字段的类型需要为array。
Redis 表schema的key 示例 从Kafka源表中读取数据，将Redis表作为维表，并将二者生成的宽表信息写入Kafka结果表中，其具体步骤如下： 参考增强型跨源连接，根据Redis和Kafka所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。
果表中，其具体步骤如下： 参考增强型跨源连接，根据redis所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Redis的安全组，添加入向规则使其对Flink的队列网段放通。 参考测试地址连通性根据redis的地址测试队列连通性。如果能连通，
账号A共享给账号B的子网。 路由表 本场景下无需配置。 主机信息 本场景下无需配置。 标签 使用标签标识云资源。包括标签键和标签值。 单击“确定”，创建增强型跨源连接。 账号A将1创建的增强型跨源连接授权给账号B使用。 账号A在增强型跨源连接的列表页面，单击操作列下的“更多 > 权限管理”。
集群后，即可创建成功。 若刚刚对队列进行网段修改，立即进行绑定队列。通常需要等待5~10分钟，待后台重建集群后，即可创建成功。 父主题： 增强型跨源连接类
查询源表数据，发现导致问题产生的记录ctr值为1675，整数位（4位）超出所定义的decimal精度（9 – 6 = 3位），导致double转decimal时overflow产生null值，而对应dws表字段为非空导致插入失败。 处理步骤 修改目的表所定义的decimal精度即可解决。
果表中。 参考增强型跨源连接，在DLI上根据Doris所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述，在增强型跨源中增加MRS的主机信息。 设置Doris的安全组，添加入向规则使其对Flink的队列网段放通。
二者生成的表信息写入Print结果表中。 参考增强型跨源连接，根据RDS MySQL所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置RDS MySQL的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根RDS的地址测试
创建Hbase维表用于与输入流连接。 前提条件 该场景作业需要运行在DLI的独享队列上，因此要与HBase建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
参考增强型跨源连接，在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置MySQL和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据MySQL和Kafka
ase的版本为1.3.1和2.2.3）： 参考增强型跨源连接，在DLI上根据HBase和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述，在增强型跨源中增加MRS的主机信息。 设置HBase和Kafk
Base的版本2.2.3）： 参考增强型跨源连接，在DLI上根据HBase和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述，在增强型跨源中增加MRS的主机信息。 设置HBase和Kafka的安全组，
connector。 参考增强型跨源连接，在DLI上根据Doris所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述，在增强型跨源中增加MRS的主机信息。 设置Doris的安全组，添加入向规则使其对Flink的队列网段放通。
机信息”章节描述，在增强型跨源中增加MRS的主机信息。 设置Doris和kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据Doris和Kafka的地址测试队列连通性。如果能连通，则表示跨源已经绑定成功，否则表示未成功。 参考MRS Dori
column 'robot_name' at row 1。 原因分析 客户的数据中存在emoj表情，这些表情是按照四个字节一个单位进行编码的，而通常使用的utf-8编码在mysql数据库中默认是按照三个字节一个单位进行编码的，这个原因导致将数据存入mysql数据库时出现错误。 出现该问题可能原因如下：
如果不存在，则进行添加。 图5 添加出方向规则 增强型跨源 检查DLI队列对应网段是否开放，若没有，则在vpc中添加出方向网段。 在DLI服务找到跨源连接绑定队列对应的网段 图6 查找跨源连接绑定队列对应的网段 在虚拟私有云安全组中查看DLI队列对应的网段是否已配置。 图7 查看vpc中对应安全组中DLI队列对应网段
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
