检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何降低CDM使用成本？ 如果是迁移公网的数据上云，可以使用NAT网关服务，实现CDM服务与子网中的其他弹性云服务器共享弹性IP，可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下： 假设已经创建好了CDM集群（无需为CDM集群绑定专用弹性IP），记录下CDM集群所在的VPC和子网。
TTP。可校验CDM抽取的文件，是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制（“文件格式”为“二进制格式”时生效），配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件，例如build.sh和build.sh.md5
作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。
作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字
作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。
TTP。可校验CDM抽取的文件，是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制（“文件格式”为“二进制格式”时生效），配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件，例如build.sh和build.sh.md5
作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如图1所示。
数据服务SDK支持的语言？ 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例，即可进行数据服务中数据API的调用，帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有：C#、Py
数据质量 质量作业和对账作业有什么区别？ 如何确认质量作业或对账作业已经阻塞？ 如何手工重启阻塞的质量作业或对账作业？ 怎样查看质量规则模板关联的作业？ 用户在执行质量作业时提示无MRS权限怎么办？
存在非法或越权操作，完善服务安全管理。 弹性云服务器服务 DataArts Studio使用弹性云服务器（Elastic Cloud Server，简称ECS）进行CDM集群和数据服务集群的创建，另外DataArts Studio可以通过主机连接在ECS上执行Shell或Python脚本。
这里假设是将内网MySQL迁移到云服务DWS，网络拓扑样例如图1所示。 图中的内网既可以是企业自己的数据中心，也可以是在第三方云的虚拟数据中心私网。 图1 网络拓扑样例 操作步骤 找一台Windows机器作为网关机，该机器同时配置内网和外网IP。通过以下测试来确保网关机器的服务要求： 在该机器上
编排API是将已经开发好的服务API接口，在无需编写复杂代码的情况下，根据特定的业务逻辑和流程进行可视化的重组和重构，从而实现在不影响原生接口的前提下进行简便的二次开发。 （可选）配置流控策略 为了保护后端服务的稳定的考虑，您可以对API进行流量控制。 （可选）主动授权API 应用定义了
必须指定MongoDB服务器的集合。 未指定MongoDB服务器的集合，请指定后，再重试。 Cdm.1305 必须指定MongoDB服务列表。 未指定MongoDB服务列表，请指定后，再重试。 Cdm.1306 必须指定MongoDB服务的数据库名称。 未指定MongoDB服务的数据库名称，请指定数据库后，再重试。
数据服务操作列表 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建API DLMApi createApi
0015 400 解析文件内容出错。 解析文件内容失败。 请确认上传的文件内容或格式是否正确，修改正确后请重试。 Cdm.0016 400 上传文件不能为空。 上传的文件为空。 请确认上传的文件是否为空，修改正确后请重试。 Cdm.0017 400 无法将输入值保存到存储库 无法将输入值保存到存储库。
源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务 父主题： 附：公共数据结构
/user/output 文件格式 写入后的文件格式，可选择以下文件格式： CSV格式：按CSV格式写入，适用于数据表到文件的迁移。 二进制格式：选择“二进制格式”时不解析文件内容直接传输，CDM会原样写入文件，不改变原始文件格式，适用于文件到文件的迁移。 如果是文件类数据源（FTP/SFTP/
则章节。 此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同，如果不同，需要修改工作空间的企业项目。 已获取待连接数据源的地址、用户名和密码，且该用户拥有数据导入、导出的操作权限。 新建连接 登录CDM管理控制台。单击左侧导航上的“集群管理”，进入集群管理界面。 或参考访问DataArts
新建表/文件迁移作业 操作场景 CDM可以实现在同构、异构数据源之间进行表或文件级别的数据迁移，支持表/文件迁移的数据源请参见支持的数据源。 约束限制 记录脏数据功能依赖于OBS服务。 作业导入时，JSON文件大小不超过1MB。 单文件传输大小不超过1TB。 配置源端和目的端参数时，字段名不可包含&和%。
环境准备 已开通弹性云服务器，并创建ECS，ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像，并且使用ECS自带的Python环境，您可登录主机后使用python命令确认服务器的Python环境。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
