检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MySQL迁移时报错：invalid input syntax for integer: "true" 问题描述 数据库中存储的是1或0，但没有true和false的数据，但MySQL迁移时读取到的是true或false，提示报错信息：Unable to execute the SQL statement
配置DIS源端参数 消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。 作业中源连接为DIS连接时，源端作业参数如所表1示。 表1 DIS作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。 dis
CDM是否支持同步作业到其他集群？ 解决方案 CDM虽然不支持直接在不同集群间迁移作业，但是通过批量导出、批量导入作业的功能，可以间接实现集群间的作业迁移，方法如下： 将CDM集群1中的所有作业批量导出，将作业的JSON文件保存到本地。 由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用“Add
服务韧性 CDM通过流量限制、备份恢复等技术方案，保障数据的持久性和可靠性。 关于CDM备份，用户可以先通过CDM的批量导出功能，把所有作业脚本保存到本地，在需要的时候再重新创建集群、重新导入作业，实现作业备份。 父主题： 安全
"k") 从字符串中指定的位置往后查找，获取指定字符串的第一个索引，没有则转换为“-1”。例如“aabaabaa”中索引3的后面，第一个“b”的索引是5。 表达式：StringUtils.indexOf(value,"b",3) 从字符串获取指定字符串中任一字符的第一个索引，没有则返
据自身的业务需求使用CDM提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用教程 创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务，本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL数据迁移到OBS CDM支持表到OBS的迁移，本
关键配置：文件/路径过滤器+定时执行作业。 前提条件：源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这里的指定时间，是指文件的修改时间，当文件的修改时间大于等于指定的起始时间，CDM才迁移该文件。 关键配置：时间过滤+定时执行作业。 前提条件：无。
有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hadoop_01 单击“显示高级属性”，然后单击“添加”，您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性，可单击属性后的“删除”按钮进行删除。 父主题： 配置连接参数
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
table 是 String 需要抽取数据的表名，例如“cdm”。 fromJobConfig.columnFamilies 否 String 抽取数据所属的列族。 fromJobConfig.columns 否 String 需要抽取的列，列号之间使用“&”分割，列族与列之间用
关键配置：文件/路径过滤器+定时执行作业。 前提条件：源端目录或文件名带有时间字段。 增量导出指定时间以后的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这里的指定时间，是指文件的修改时间，当文件的修改时间大于等于指定的起始时间，CDM才迁移该文件。 关键配置：时间过滤+定时执行作业。 前提条件：无。
标识文件名 选择开启作业标识文件的功能时，需要指定启动作业的标识文件名。指定文件后，只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 等待时间 选择开启作业标识文件的功能时，如果源路径下不存在启动作业的标识文件，作业挂机等待的时长，当超时后任务会失败。
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 202 Accepted。 400 请求错误。 401 鉴权失败。
如何备份CDM作业？ 问题描述 如何备份CDM作业？ 解决方案 用户可以先通过CDM的批量导出功能，把所有作业脚本保存到本地，在需要的时候再重新创建集群、重新导入作业，实现作业备份。 父主题： 功能类
数据源为Hive时支持哪些数据格式？ 问题描述 云数据迁移服务，数据源为Hive时支持的数据格式有哪些？ 解决方案 云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 父主题： 功能类
CDM未使用数据传输功能时，是否会计费？ CDM集群运行状态下，即便未使用也是正常计费的。 如果长期不使用建议删除集群，需要的时候再创建集群。CDM集群计费详情请参考价格详情。 父主题： 通用类
取决于源端数据源的性能。 如需优化，请参见源端数据源的相关说明文档。 网络带宽 CDM集群与数据源之间可以通过内网、公网VPN、NAT或专线等方式互通。 通过内网互通时，网络带宽是根据不同的CDM实例规格的带宽限制的。 cdm.large实例规格CDM集群网卡的基准/最大带宽为0
数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。
从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输入多个文件名（最多50个），文件名之间
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
