检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 IP 是 填写ClickHouseServer所在节点IP。 端口 是 默认使用ClickHouseServer的配置参数http_port，用于接收JDBC请求的端口。 KMS密钥 是 通过KM
指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下： connectTimeout=
开启gzip 压缩，使用的时候需要在es 节点上将配置http.compression设置为true。 数据源认证及其他功能配置 用户名 是 连接Elasticsearch的用户名。 密码 是 连接Elasticsearch的密码。 父主题： 配置DataArts Studio数据连接参数
创建中需要注意如下网络配置： VPC 虚拟私有云。专享版实例需要配置虚拟私有云（VPC），在同一VPC中的资源（如ECS），可以使用专享版实例的私有地址调用API。 在购买时专享版实例时，建议配置和您其他关联业务相同VPC，确保网络安全的同时，方便网络配置。 弹性公网IP 专享版
serverSelectionTimeout，默认serverSelectionTimeout=5000 socketTimeout=60000 父主题： 配置连接参数
FTP时显示该参数。 ftp-client的controlEncoding文件名编码配置，默认为ISO-8859-1，目前支持ISO-8859-1/UFT8。 ISO-8859-1 父主题： 配置连接参数
添加Broker连接地址的自映射，以便客户端能够快速解析实例的Broker。例如Kafka Broker地址配置为10.154.48.120时，hosts文件中的自映射配置为： 10.154.48.120 10.154.48.120 是 用户名 开启Kafka SASL_SSL时显示该参数，表示连接DMS
L数据源如何手动删除复制槽？。 整库场景 源端配置。 添加数据源，选择需要迁移的PostgreSQL表。 图1 选择库表 库与表均支持自定义选择，即可选择一库一表，也可选择多库多表。 目标端配置。 图2 配置目标端参数 源库表和目标匹配策略： Schema匹配策略：配置目标数据S
/bucket/dir”。 obs://bucket/dir/test.txt 属性配置 需要集成的表名，多个表名使用英文逗号“,”分开，请务必配置，不要有空格，默认无需配置。 - 父主题： 配置连接参数
分库分表场景 源端配置。 Kafka配置。 数据格式：支持的数据格式。 目前支持JSON、CSV、TEXT格式。 消费组ID：由用户指定，标识当前实时处理集成作业的消费组。 当迁移作业消费DMS Kafka集群某一Topic的消息后，在Kafka集群的“消费组管理”可以看到此处配置的消费组
设置配额使用量阈值告警的操作方法如下所示： 在DataArts Studio实例卡片上，单击选择“更多 > 告警阈值”。 图1 告警阈值 配置告警阈值，取值范围在0-100之间，设置为0表示不告警。当配额使用量超出设置的告警阈值时，会触发SMN短信或邮件告警。 进入消息通知服务SMN控制台，单击进入“主题管理
对补数据作业运行情况进行监控。可以通过补数据，修正历史中出现数据错误的作业实例，或者构建更多的作业记录以便调试程序等。 具体请参见补数据监控。 通知管理 配置在作业运行异常或成功时能接收到通知。 具体请参见通知管理。 备份管理 支持每日定时备份昨日系统中的所有作业、脚本、资源和环境变量。 具体请参见备份管理。
Hudi表属性全局配置：单击“查看编辑”配置Hudi表属性全局配置。 “Hudi全局配置”作用于所有Hudi表，可配置的Hudi配置项参考Hudi官网介绍。 “Hudi全局配置”优先级低于单表“表属性编辑”中的配置，存在相同配置项时会被覆盖。 源表与目标表映射： 图6 配置源表与目标表映射
群，请先通过数据集成增量包进行创建。 数据集成配置 测试地址 是 测试连通性地址，返回200则视为连接认证成功。 例如：/test 测试请求方法 是 测试请求方法，GET/POST。 例如：GET 高级属性 否 高级属性配置，常用配置如下： maxTotal：连接池最大值，默认200。
ED。 全局高级配置：单击查看编辑，配置高级属性。 auto-compaction：数据会先被写入临时文件，当checkpoint完成后，该配置控制检查点产生的临时文件是否被合并。 源表与目标表映射： 图3 配置源表与目标表映射 单表高级配置：单击“单表高级配置”为列表中的topic配置对应属性。
集/角色方式为用户授权外，也支持自下而上的用户权限申请、审批流程。 本章主要描述申请者如何申请权限，以及审批者如何审批权限和回收权限。 前提条件 权限申请前，已完成空间权限集的配置，请参考配置空间权限集。 权限申请前，需要在数据目录组件，对数据连接成功进行过元数据采集，详见元数据采集任务。
dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname
Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名，包括端口号，格式为“ip:port”，多个地址之间使用“;”分隔。 192.168.0.1:9200;192.168.0.2:9200 父主题： 配置连接参数
开发者操作 开发者作为任务开发与处理的人员，需要开发脚本、开发作业等，相关操作如下表所示。 表1 开发者操作 操作 说明 脚本开发 选择开发环境的数据湖引擎，在开发环境下的调测并发布数据开发脚本，发布到生产环境后系统会自动替换为对应生产环境引擎。 具体请参见脚本开发。 作业开发
取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 css_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名，包括端口号，格式为“ip:port”，多个地址之间使用“;”分隔。 192.168
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
