检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上表中非云服务的数据源，例如MySQL，既可以支持用户本地数据中心自建的MySQL，也可以是用户在ECS上自建的MySQL，还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库，同步到云上的数据库服务或大数据服务中，适用于数据库离线迁移场景，不适用于在线实时迁移。
务量情况规划多个Agent分担压力。 在调度Shell、Python脚本时，Agent会访问ECS主机，如果Shell、Python脚本的调度频率很高，ECS主机会将Agent的内网IP加入黑名单。为了保障作业的正常调度，强烈建议您使用ECS主机的root用户将绑定Agent（即
脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发，左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上，可以查看到当前已经创建的目录，默认在根目录/。 connectionName 否 String 脚本关联的连接名称。当type参数值为DLISQL、S
查询补数据实例 功能介绍 查询补数据实例列表，支持分页查询。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/supplement-data?sort={sort}&page={
需要自行开发完善运维功能，自行保证系统可用性，尤其是告警及通知功能，否则只能人工值守。 使用CDM服务，用户不需要维护服务器、虚拟机等资源。CDM的日志，监控和告警功能，有异常可以及时通知相关人员，避免7*24小时人工值守。 高效率 在迁移过程中，数据读写过程都是由一个单一任务完成的，受限于资源，整体性能较低，对于海量数据场景通常不能满足要求。
variable 表6 Location数据结构说明 参数名 是否必选 参数类型 说明 x 是 Int 节点在作业画布上的横轴位置 y 是 Int 节点在作业画布上的纵轴位置 表7 condition数据结构说明 参数名 是否必选 参数类型 说明 preNodeName 是 String
"time_of_day": "00:00-23:59" }, "force": "true" } 响应示例 成功响应 HTTP状态码 200 失败响应 HTTP状态码 400 { "error_code":"DLF.3051", "error_msg":"The request
variable 表7 Location数据结构说明 参数名 是否必选 参数类型 说明 x 是 Int 节点在作业画布上的横轴位置。 y 是 Int 节点在作业画布上的纵轴位置。 表8 condition数据结构说明 参数名 是否必选 参数类型 说明 preNodeName 是
表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景，二进制格式适用于文件迁移场景。 CSV格式 换行符处理方式
使用委托 否 “数据集成”参数开启，“数据目录”参数关闭时，呈现此参数。 如果IAM账号将OBS权限委托给DataArts Studio，则可以在无需持有OBS永久AK SK的情况下创建数据连接，由云服务使用委托的方式进行作业。 公共委托 是 “数据集成”参数开启，“数据目录”参数关闭时，呈现此参数。
search-connector：Elasticsearch/云搜索服务连接。dli-connector：DLI连接。 http-connector：HTTP/HTTPS连接，该连接暂无连接参数。dms-kafka-connector：DMSKafka连接。 update-date
CDM迁移性能如何？ 单个cdm.large规格实例理论上可以支持1TB～8TB/天的数据迁移，实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题： 数据集成（CDM作业）
本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上，需要确保MySQL可以通过公网IP访问，或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。 已获取本地MySQL数据库和RDS上MySQL数据库的IP地址、数据库名称、用户名和密码。
ation）和散列（Hash）两种分布策略。用户可选取多个字段。 REPLICATION方式：在每一个DN节点上存储一份全量表数据。这种存储方式的优点是每个DN上都有此表的全量数据，在join操作中可以避免数据重分布操作，从而减小网络开销；缺点是每个DN都保留了表的完整数据，造成
度和数据管理能力做必要评估。此外还需进行数据资产入表前改造工作，主要涉及数据分类分级工具准备、数据成本计量工具准备、财务系统准备等。 企业在梳理确认好数据资产类型、类别和安全等级后，就可以进入到实施阶段：梳理数据资产构成成本，并对数据资源进行初始计量、后续计量等相关会计处理。 图1
查询作业实例详情 功能介绍 查询指定作业实例详情信息，包括作业实例内各个节点的执行信息。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/{job_name}/instances/{instance_id}
description String API描述。 protocol String API请求协议类型。 枚举值： PROTOCOL_TYPE_HTTP：HTTP协议请求 PROTOCOL_TYPE_HTTPS：HTTPS协议请求 publish_type String 发布类型(已弃用)。 枚举值：
文件格式：传输文件到数据表时，这里选择“CSV格式”或“JSON格式”。 高级属性里的可选参数保持默认。 目的连接名称：选择创建DLI连接中的“dlilink”。 资源队列：选择目的表所属的资源队列。 数据库名称：写入数据的数据库名称。 表名：写入数据的目的表。CDM暂不支持在DLI
FILE”时此参数有效。在迁移CSV文件到表时，CDM默认是全部写入，当该参数选择“true”时，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 fromJobConfig.fromCompression 否 枚举 压缩格式，表示选择只传输对应压缩格式的源文件。“NONE”表示传输所有格式的文件。
脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发，左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上，可以查看到当前已经创建的目录，默认在根目录/。 connectionName 否 String 脚本关联的连接名称。当type参数值为DLISQL、S
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
