检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI插入数据到OBS临时表文件，数据量有差异。 根因分析 出现该问题可能原因如下： 作业执行过程中，读取数据量错误。 验证数据量的方式不正确。 通常在执行插入数据操作后，如需确认插入数据量是否正确，建议通过查询语句进行查询。 如果OBS对存入的文件数量有要求，可以在插入语句后加入“DISTRIBUTE
据倾斜、网络问题或任务过多导致的。 解决方案： 设置并发数：通过设置合适的并发数，可以启动多任务并行运行，从而提高作业的处理能力。 例如访问DWS大批量数据库数据时设置并发数，启动多任务的方式运行，避免作业运行超时。 具体并发设置可以参考对接DWS样例代码中的partitionC
服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。本示例输入为：dli_kafka。 弹性资源池：选择步骤1：创建队列中已经创建的队列名。 虚拟私有云：选择Kafka的虚拟私有云。 子网：选择Kafka的子网。 其他参数可以根据需要选择配置。
Kafka是线下集群，需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 1 2 3 4 5 6 7 CREATE
在“用户权限信息”列表中找到需要设置权限的用户： 如果用户为子用户且不是表的所有者，可进行“权限设置”。 若用户为管理员用户或表的所有者，只能查看“权限信息”。 在“项目权限信息”列表中找到需要设置权限的项目，进行“权限设置”。 在子用户或项目的“操作”栏中单击“权限设置”，可弹出表“权限设置”对话框。
在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。 弹性资源池：选择DLI的队列。（未添加至资源池的队列，请直接选择队列名称。） 虚拟私有云：选择步骤1：获取外部数据源的内网IP、端口和安全组获取的外部数据源的虚拟私有云。 子网：选择步骤1：获取外部数据源的内
time_attr可以设置processing-time或者event-time。 time_attr设置为event-time时参数类型为bigint或者timestamp类型。 time_attr设置为processing-time时无需指定类型。 interval设置窗口周期。 分组函数
time_attr可以设置processing-time或者event-time。 time_attr设置为event-time时参数类型为bigint或者timestamp类型。 time_attr设置为processing-time时无需指定类型。 interval设置窗口周期。 分组函数
Kafka是线下集群，需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 1 2 3 4 5 6 7 8
支持的Connector Kafka 示例 使用kafka发送数据，输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列-->找到作业的
在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。 弹性资源池：选择DLI的队列。（未添加至资源池的队列，请直接选择队列名称。） 虚拟私有云：选择步骤1：获取外部数据源的内网IP、端口和安全组获取的外部数据源的虚拟私有云。 子网：选择步骤1：获取外部数据源的内
示例 使用canal-json读取kafka中的canal记录，并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列
在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。本示例输入为：dli_rds。 弹性资源池：选择步骤1：创建队列中已经创建的队列。 虚拟私有云：选择RDS的虚拟私有云。 子网：选择RDS的子网。 其他参数可以根据需要选择配置。 参数
在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。本示例输入为：dli_rds。 弹性资源池：选择步骤1：创建队列中已经创建的队列。 虚拟私有云：选择RDS的虚拟私有云。 子网：选择RDS的子网。 其他参数可以根据需要选择配置。 参数
支持的Connector Kafka 示例 使用kafka发送数据，输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列-->找到作业的
队列的描述信息。 cu_count 是 Integer 与队列绑定的最小计算单元个数。设置值当前只支持16，64，256。 charging_mode 否 Integer 队列的收费模式。只能设置为“1”，表示按照CU时收费。 enterprise_project_id 否 String
解决方案：将作业参数 table.exec.source.cdc-events-duplicate 设置成true，并在该source上定义PRIMARY KEY。 框架会生成一个额外的有状态算子，使用该primary key来对变更事件去重并生成一个规范化的changelog流。 更新信息请参考Debezium
该场景作业需要运行在DLI的独享队列上，因此要与DCS实例建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 示例 Redis表用于与输入流连接。 CREATE
增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。 增强型跨源连接需要使用VPC、子网、路由、对等连接功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 可在服务授权中进行设置。 使用DLI增强型跨源时，弹性资源池/队列的网段与数据源网段不能重合。 访问跨源表需要使用已经创建跨源连接的队列。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
