检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云数据迁移安全结论 访问控制 只有华为云统一身份认证服务(Identity and Access Management,简称IAM)授权的用户才能访问CDM控制台和API。推拉模式下,CDM在VPC上没有开放侦听端口,用户无法从VPC访问实例,具有高度的安全性。 数据传输安全 C
Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当使用二进制格
Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件时,并且配置“解析首行为列名”参数的场景下显示列名。 当使用二进制格
CDM集群Hive连接无法查询库和表的内容 问题描述 cdm集群hive连接无法查询到数据库和表的内容,手动配置库和表后字段可以显示,但报错hive 客户端初始化失败,无效的方案: get_table_req。 解决方案 用户的MRS集群是1.8.1,CDM为2.6.0。 报错看CDM封装的Hive
表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 响应参数 状态码: 200 表3 响应Body参数
传输,仅在创建dws连接时才有此参数。 linkConfig.jdbcProperties 否 Map 连接属性,指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 linkConfig.version 否 枚举 创建Oracle连接时才有该参数,根据您Oracle数据库的版本来选择。
recordMD5Result 否 Boolean 当选择校验MD5值时,这里配置是否记录校验结果。 toJobConfig.recordMD5Link 否 String 可以指定任意一个OBS连接,将MD5校验结果写入该连接的桶。 toJobConfig.recordMD5Bucket
表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 响应参数 状态码: 200 表3 响应Body参数
是否支持批量调度作业? 问题描述 CDM是否支持批量调度作业? 解决方案 支持。 访问DataArts Studio服务的数据开发模块。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”,新建作业。 拖动多个CDM Job节点至画布,然后再编排作业。 父主题: 功能类
CDM是否支持动态数据实时迁移功能? CDM是否支持集群关机功能? 如何使用表达式方式获取当前时间? 在创建迁移作业时,where语句参数中的时间格式是怎样的? CDM作业可以将源表中的字段注释迁移到目标端表吗? 如何查询数据连接创建人?
入到cdm作业管理—>连接管理,找到该连接器名称。 编辑连接器,显示高级属性—>连接属性—>添加:属性名称socketTimeout 值:36000(单位为秒),测试连接,保存。 重新启动作业,等待迁移任务执行成功。 父主题: 故障处理类
SET是一个字符串对象,可以有零或多个值,其值来自表创建时规定的允许的一列值。指定包括多个SET成员的SET列值时各成员之间用逗号(‘,’)间隔开。这样SET成员值本身不能包含逗号。 - - 不支持 JSON - - 不支持 不支持(TEXT) ENUM 当定义一个ENUM,要创建它的值的列表,这些是必须用
Boolean 当选择IAM统一身份认证时,需要输入用户名、AK和SK。 linkConfig.runMode 是 枚举 选择HBase连接的运行模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多
如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 文件/路径过滤器 参数位置:在创建表/文件迁移作业时,如果源端数据源为文件类型,那么源端作业参数的高级属性中可以
SET是一个字符串对象,可以有零或多个值,其值来自表创建时规定的允许的一列值。指定包括多个SET成员的SET列值时各成员之间用逗号(‘,’)间隔开。这样SET成员值本身不能包含逗号。 - - 不支持 JSON - - 不支持 不支持(TEXT) ENUM 当定义一个ENUM,要创建它的值的列表,这些是必须用
如何备份CDM作业? 问题描述 如何备份CDM作业? 解决方案 用户可以先通过CDM的批量导出功能,把所有作业脚本保存到本地,在需要的时候再重新创建集群、重新导入作业,实现作业备份。 父主题: 功能类
表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 响应参数 状态码: 200 表3 响应Body参数
上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性IP),记录下CDM集群所在的VPC和子网。 创建NAT网关,注意选择和CDM集群相同的VPC、子网。 创建完NAT网关后,回到NAT网关控制台列表,单击创建好的网关名称,然后选择“添加SNAT规则”。
连接管理 创建连接 查询连接 删除连接 修改连接 父主题: API
问题描述 CDM作业配置源端MongoDB添加字段,目的端MongoDB数据库字段映射,作业运行后,目的端数据库查看,数据存在问题,没有迁移成功。 故障分析 查看文档提示CDM通过获取样值的方式无法获得所有列。 添加字段,因为MongoDB是文档数据库,没有scheme概念。CDM字段映射取的是第一条的json