-
项目ID和账号ID - 云数据迁移 CDM
"projects": [ { "domain_id": "65382450e8f64ac0870cd180d14e684b", "is_domain": false, "parent_id": "
-
CDM集群Hive连接无法查询库和表的内容 - 云数据迁移 CDM
解决方案 用户的MRS集群是1.8.1,CDM为2.6.0。 报错看CDM封装的Hive SDK无法识别Hive数据源, 但Hive连接器测试连通性是正常的,于是仔细检查Hive的连接器配置的参数。 安全集群MRS Manager用户、用户组和角色配置都正确,发现Hive版本配置的为HIVE_3_X。
-
配置DLI源端参数 - 云数据迁移 CDM
DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 分区 用于抽取分区的信息。 year=2020,location=sun 父主题: 配置作业源端参数
-
配置字段映射 - 云数据迁移 CDM
表达式:StringUtils.contains(value,"a") 如果字符串中包含指定字符串的任一字符,则返回布尔值true,否则返回false。例如“zzabyycdxx”中包含“z”或“a”任意一个,则返回true。 表达式:StringUtils.containsAny(value,"za")
-
配置DMS Kafka连接 - 云数据迁移 CDM
填写为SASL_SSL或SASL_PLAINTEXT。 当DMS Kafka实例的连接信息中配置SASL认证机制后,需要添加认证方式的属性:属性名称填写为sasl.mechanism,值根据Kafka实例中配置的SASL认证机制填写为PLAIN或SCRAM-SHA-512(同时支持时选择其中任意一种填写即可)。
-
源端为对象存储 - 云数据迁移 CDM
选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业,否则会挂起等待一段时间,等待时长在下方“fromJobConfig.waitTime”(等待时间)参数中配置。 fromJobConfig.markerFile 否 String 启动作业的标识文件名。指定文件后
-
执行Spark SQL写入Hudi失败怎么办? - 云数据迁移 CDM
tionManager。 打开stage->查看fail状态的task,通过日志或者界面显示,可以看到失败原因,通常会是以下报错: transferring unroll memory to storage memory failed(RDD中缓存超过了executor的内存out
-
查询作业 - 云数据迁移 CDM
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
-
正则表达式分隔半结构化文本 - 云数据迁移 CDM
75 6 show 7 version 8 x Tomcat日志 日志样例: 11-Jan-2018 09:00:06.907 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log OS Name:
-
正则表达式分隔半结构化文本 - 云数据迁移 CDM
75 6 show 7 version 8 x Tomcat日志 日志样例: 11-Jan-2018 09:00:06.907 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log OS Name:
-
随机集群创建作业并执行 - 云数据迁移 CDM
作业进度,失败时为“-1”,其它情况为0~100。 status String 作业状态: BOOTING:启动中。 FAILURE_ON_SUBMIT:提交失败。 RUNNING:运行中。 SUCCEEDED:成功。 FAILED:失败。 UNKNOWN:未知。 NEVER_EXECUTED:未被执行 isStopingIncrement
-
修改作业 - 云数据迁移 CDM
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
-
配置DLI目的端参数 - 云数据迁移 CDM
新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 导入前清空数据 选择导入前是否清空目的表的数据。 如果设置为是,任务启动前会清除目标表中数据。 否 空字符串作为null 如果设置为true,空字符串将作为null。
-
指定集群创建作业 - 云数据迁移 CDM
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
-
源端为HDFS - 云数据迁移 CDM
选择是否开启作业标识文件的功能。当源端路径下存在启动作业的标识文件时才启动作业,否则会挂起等待一段时间,等待时长在下方“fromJobConfig.waitTime”(等待时间)参数中配置。 fromJobConfig.markerFile 否 String 启动作业的标识文件名。指定文件后,只有在源端路径
-
应用示例 - 云数据迁移 CDM
"password": "password", "domain": { "name": "Account Name"
-
区域和可用区 - 云数据迁移 CDM
共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集
-
配置Elasticsearch/云搜索服务源端参数 - 云数据迁移 CDM
${timestamp(dateformat(yyyyMMdd))}}”。 暂不支持通过Elasticsearch的query DSL(即DSL语法,Domain Sepcified Language)查询方式对源数据进行过滤。 last_name:Smith 抽取元字段 表示是否抽取索引的元字段
-
迁移MySql到DLI字段类型转换报错For input string:"false"怎么处理? - 云数据迁移 CDM
transform"参数设置为"false"。 其中第二种方式可以在CDM的Mysql连接器高级属性中添加: 连接管理-Mysql连接-高级属性-添加参数 mysql.bool.type.transform 值为false,再次输入密码保存即可。 父主题: 故障处理类
-
迁移时已选择表不存在时自动创表,提示“CDM not support auto create empty table with no column”怎么处理? - 云数据迁移 CDM
column”怎么处理? 这是由于数据库表名中含有特殊字符导致识别出语法错误,按数据库对象命名规则重新命名后恢复正常。 例如,DWS数据仓库中的数据表命名需要满足以下约束:长度不超过63个字符,以字母或下划线开头,中间字符可以是字母、数字、下划线、$、#。 父主题: 故障处理类