检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
这种情况一般是在迁移到DWS时数据有中文，且创建作业时选择了目的端自动建表的情况下。原因是DWS的varchar类型是按字节计算长度，一个中文字符在UTF-8编码下可能要占3个字节。当中文字符的字节超过DWS的varchar的长度时，就会出现错误：value too long for type
源连接名称，即为通过“创建连接”接口创建的连接对应的连接名。 creation-user 否 String 创建作业的用户。由系统生成，用户无需填写。 creation-date 否 Long 作业创建的时间，单位：毫秒。由系统生成，用户无需填写。 update-date 否 Long 作业最后更新的时间，单位：毫秒。由系统生成，用户无需填写。
ase集群的数据： CDH → CDM（华为云） → MRS 使用云专线直接迁移时的优缺点： 优点：数据无需做多次的搬迁，缩短整体搬迁周期。 缺点：在数据大量传输过程中会占用专线带宽，对客户并行进行的业务存在影响，跨越多个交换机设备。 CDM通过DES（数据快递服务）迁移1个月前的历史数据，迁移路径如下：
户可以综合运用子网和安全组的配置，来完成CDM实例的隔离，提升CDM实例的安全性。 数据加密 用户数据源的访问信息（用户名和密码）存储在CDM实例的数据库中，并采用AES-256加密，CDM管理员无法访问。 数据删除 用户删除CDM实例时，存储在实例中的数据都会被删除，任何人都无法查看及恢复数据。
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
如何使用Java调用CDM的Rest API创建数据迁移作业？ CDM提供了Rest API，可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
使用HDFS客户端get文件可以正常获取，所以不是文件块丢失。 查看HDFS服务的所有DataNode实例是否都已启动，此时DataNode状态为停止会获取不到块，以及cdm和DataNode节点的网络是否正常。 注：9866端口是HDFS文件系统DataNode的数据传输接口。 解决方案 因为DataNode
DLI外表(OBS文件)迁移DWS某字段转义，带有“\” 问题描述 DLI 外表CDM服务将数据迁移到DWS（GaussDB）时候，有个字段迁移后多了一对引号，字段本身的引号多了转义符，其他字段没问题。 源端： 目的端： 故障分析 根据截图可以看出，源端样值中有符号：{ 括号 ”
X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 sys_tags Array
字段分隔符 用于分隔CSV文件中的列的字符，支持单字符和多字符，也支持特殊字符，详见表1。 编码类型 文件的编码类型，默认是UTF-8，中文的编码有时会采用GBK。 如果源端指定该参数，则使用指定的编码类型去解析文件；目的端指定该参数，则写入文件的时候，以指定的编码类型写入。 使用包围符
字段分隔符 用于分隔CSV文件中的列的字符，支持单字符和多字符，也支持特殊字符，详见表1。 编码类型 文件的编码类型，默认是UTF-8，中文的编码有时会采用GBK。 如果源端指定该参数，则使用指定的编码类型去解析文件；目的端指定该参数，则写入文件的时候，以指定的编码类型写入。 使用包围符
X-Auth-Token 是 String 用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 datastores
其中CDM相关操作，与CDM迁移近一个月的数据相同，都是使用二进制直接传输文件目录，2个集群并发执行作业。 注意事项 当迁移动作影响到客户的HDFS集群时，需要手动停止作业。 如果作业出现大批量的失败： 先检查DES盒子是否被写满。如果写满，需要清除最近写入的目录，保证后面写入的数据都是完整的。 再检查网络是否连通。
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 -
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 -
下载CDM集群日志 操作场景 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录，定位作业失败原因等。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”，进入集群管理界面。 或参考访问DataArts Studio实例控制台，登录DataArts
解决方法 单击服务列表，搜索“MRS”，进入MRS控制台。 单击集群名称进入“现有集群”页面，查询弹性ip，如下图所示。 通过弹性IP地址，登录MRS集群后台。 用户名：admin 密码：创建集群时的密码 执行ip a | grep wsom命令查询MRS集群的浮动ip（wsom标志），如下图所示。
是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。 否：关闭时能提升写入性能，但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是：源端数据库中的Short、Int、Long、Float、Double、Decimal类型列的数据，会转换为By
通过公网互通时，网络带宽受到公网带宽的限制。CDM侧公网带宽规格受限于CDM集群所绑定的弹性公网IP，数据源侧受限于其所访问的公网带宽规格。 通过VPN、NAT或专线互通时，网络带宽受到VPN、NAT或专线带宽的限制。 目的端写入性能 取决于目的端数据源的性能。 如需优化，请参见目的端数据源的相关说明文档。
使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后，基于华为公有云的大数据分析能力，可帮助H公司屏蔽大数据基础设施复杂的构建、维护过程，使其客户人员可以全身心聚焦业务创新，盘活100T的存量数据，使资产最大化变现。 CDM和DLI服务按需收费，帮助H
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
