检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
EXCEPT_KEY] 在解析消息体时，是否要包含消息键字段。 取值如下： ALL（默认值）：所有定义的字段都存放消息体（Value）解析出来的数据。 EXCEPT_KEY：除去key.fields定义字段，剩余的定义字段可以用来存放消息体（Value）解析出来的数据。 scan.startup
据倾斜、网络问题或任务过多导致的。 解决方案： 设置并发数：通过设置合适的并发数，可以启动多任务并行运行，从而提高作业的处理能力。 例如访问DWS大批量数据库数据时设置并发数，启动多任务的方式运行，避免作业运行超时。 具体并发设置可以参考对接DWS样例代码中的partitionC
读取数据时，每一批次获取数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。 batchsize 写入数据时，每一批次写入数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。 truncate 执行
参考增强型跨源连接，根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通性。如果能连通，则表示跨源已经绑定成功，否则表示未成功。 参考创建Flink
enterprise_project_id 是 String 企业项目ID，“0”表示default，即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。 说明： 开通了企业管理服务的用户可设置该参数绑定指定的项目。 resource_id 是 String 资源ID。 请求示例 无 响应示例
无 String connector类型，需配置为'gaussdb'。 url 是 无 String jdbc连接地址。“url”参数中的ip地址请使用DWS的内网地址。 使用gsjdbc4驱动连接时，格式为：jdbc:postgresql://${ip}:${port}/${dbName}
和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置DWS和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据DWS和Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 连接DWS
性资源池并添加队列中创建的队列，在操作列，单击“更多 > 测试地址连通性”。 在“测试连通性”界面，地址栏输入“Kafka内网地址:Kafka数据库端口”，单击“测试”测试DLI到Kafka网络是否可达。注意多个地址要分开单独测试。 步骤6：创建DLI连接RDS的增强型跨源连接 在RDS的安全组上放通DLI队列网段。
的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Redis和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Redis的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 登录Redis
DLI部署时通过物理区域划分，为项目级服务。授权时，“作用范围”需要选择“区域级项目”，然后在指定区域对应的项目中设置相关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问DLI时，需要先切换至授权区域。 权限类别：根据授权精程度分为角色和策略。
根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka和ecs的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka或ecs的地址 > 测
表2 参数说明 参数名 具体含义 举例 bootstrap.servers kafka连接地址 kafka服务IP地址1:9092,kafka服务IP地址2:9092,kafka服务IP地址3:9092 group.id kafka消费组 如当前kafka消费组为test-group
创建source流从Redis获取数据，作为作业的输入数据。 前提条件 要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 1 2 3
COMMENT 语法 COMMENT ON TABLE name IS 'comments' 描述 设置表的注释信息，可以通过设置注释信息为NULL来删除注释。 示例 修改表users的注释为“master table”，表的注释语句可以通过show create table tablename语句查看：
无 String connector类型，需配置为'gaussdb'。 url 是 无 String jdbc连接地址。“url”参数中的ip地址请使用DWS的内网地址。 使用gsjdbc4驱动连接时，格式为：jdbc:postgresql://${ip}:${port}/${dbName}
它能提升写入HBase数据库的性能，但是也可能增加延迟。 设置为 "0" 关闭此选项。 注意："sink.buffer-flush.max-size" 和 "sink.buffer-flush.max-rows" 同时设置为 "0"，并设置刷新缓存的间隔，则以完整的异步处理方式刷新缓存。 格式为：{length
DWS集群连接地址 -U dbadmin -p 8000 -W password -r gaussdb：DWS集群默认数据库。 DWS集群连接地址：请参见获取集群连接地址进行获取。如果通过公网地址连接，请指定为集群“公网访问地址”或“公网访问域名”，如果通过内网地址连接，请指定为
它能提升写入HBase数据库的性能，但是也可能增加延迟。 设置为 "0" 关闭此选项。 注意："sink.buffer-flush.max-size" 和 "sink.buffer-flush.max-rows" 同时设置为 "0"，并设置刷新缓存的间隔，则以完整的异步处理方式刷新缓存。 格式为：{length
标签列表，没有标签默认为空数组。 请参考表8。 resource_name 是 String 资源名称，资源没有名称时默认为空字符串，eip返回ip地址。 表8 tags字段数据结构说明 名称 是否必选 参数类型 说明 key 是 String 资源标签键。 value 是 String 资源标签值。
除已有文件。 with_column_header 否 Boolean 导出csv和json格式数据时，是否导出列名。 设置为“true”，表示导出列名。 设置为“false”，表示不导出列名。 若为空，默认为“false”。 limit_num 否 Integer 需要导出的数据数量，默认值为“0”，表示全部导出。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
