检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从HBase/CloudTable导出数据时，由于HBase/CloudTable是无Schema的存储系统，CDM要求源端数值型字段是以字符串格式存储，而不能是二进制格式，例如数值100需存储格式是字符串“100”，不能是二进制“01100100”。 表1 HBase/CloudTable作为源端时的作业参数
strings 引用函数ID，ID字符串。 l1_id String 主题域分组ID，只读，ID字符串。 l2_id String 主题域ID。 l3_id String 业务对象guid，ID字符串。 table_id String 事实表ID，ID字符串。 tb_name String
型长度在目标库会按照字节长自动扩大（因为DWS目标库为字节长）。 操作步骤 本小节以Oracle到DWS的实时同步为示例，介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览， 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
TRUNCATE方式：清空DLI表分区。 INSERT_OVERWRITE方式：使用分区覆盖的方式写入数据。 INSERT_OVERWRITE 空字符串作为null 如果设置为true，空字符串将作为null。 否 自动建表模式 选择建表模式：一键建表，作业配置过程中一键建表，表生成后继续配置作业。 一键建表
定义分区。 其中时间分区需要用户指定一个源端表名，选择一个时间转换格式。 比如时间分区用户指定一个源端表名src_col_1，选择一个时间转换格式，日(yyyyMMdd)、月(yyyyMM)、年(yyyy)，自动建表时会在Hudi表默认创建一个cdc_partition_key的
主题域分组ID，只读，ID字符串。 l2_id String 主题域ID。 l3_id String 业务对象ID，ID字符串。 create_by String 创建人。 description String 描述。 dimension_id String 所属维度ID，ID字符串。 owner
导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table
导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table
”。 fromJobConfig.quoteChar 否 Boolean 是否使用包围符，选择“true”时，包围符内的字段分隔符会被视为字符串值的一部分，目前CDM默认的包围符为："。 fromJobConfig.firstRowAsHeader 否 Boolean 是否默认首行
导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table
脱敏：隐藏字符串中的关键数据。 例如要将“12345678910”转换为“123****8910”，则参数配置如下： “起始保留长度”为“3”。 “结尾保留长度”为“4”。 “替换字符”为“*”。 去前后空格：自动删除字符串前后的空值。 字符串反转：自动反转字符串，例如将“ABC”转换为“CBA”。
度在目标库会按照字节长自动扩大（因为DWS目标库为字节长）。 操作步骤 本小节以PostgreSQL到DWS的实时同步为示例，介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览， 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
属性值。 fd_id String 属性定义的ID，ID字符串。 directory_id String 标准所属目录，ID字符串。 row_id String 标准所属行，ID字符串。 id String 数据标准的ID，ID字符串。 status String 实体的发布状态，只读，创建和更新时无需填写。
x及以上版本不支持自定义类型，只能使用_doc类型。此处即使自定义也不会生效。 _doc 高级属性 拆分nested类型字段 可选参数，选择是否将nested字段的json内容拆分，例如：将“a:{ b:{ c:1, d:{ e:2, f:3 } } }”拆成三个字段“a.b.c”、“a.b.d.e”、“a
参数 参数类型 描述 success String 成功数，ID字符串。 failed String 失败数，ID字符串。 running String 同步中，ID字符串。 other String 未同步数，ID字符串。 状态码： 400 表11 响应Body参数 参数 参数类型
在该机器上安装端口映射工具（IPOP）。 通过端口映射工具（IPOP）配置端口映射。 长时间将内网数据库暴露在公网会有安全风险，迁移数据完成后，请及时停止端口映射。 场景描述 这里假设是将内网MySQL迁移到云服务DWS，网络拓扑样例如图1所示。 图中的内网既可以是企业自己的数据
配置实例超时是否忽略等待时间。 是：实例运行时超时计算将忽略等待时间。 否：实例运行时超时计算将等待时间会包含进去。 单击“保存”，对设置的配置项进行保存。 MRS jar包参数拆分规则 对MRS MapReduce算子和MRS Spark算子jar包参数中字符串参数（使用""括起来的参数）拆分规则进行配置。
主题域分组ID，只读，ID字符串。 l2_id String 主题域ID。 l3_id String 业务对象ID，ID字符串。 create_by String 创建人。 description String 描述。 dimension_id String 所属维度ID，ID字符串。 owner
最后更新作业状态的用户。 isDeleteJob Boolean 作业执行完成后是否删除。 请求示例 在CDM集群ID列表中随机选择一个集群，创建一个源端为elasticsearch，目的端为DIS，作业名为es_css的表迁移作业。 POST /v1.1/1551c7f6c808
实时处理集成作业 1分钟 作业字节输入速率 展示用户Flink作业每秒输入的字节数 ≥ Byte/s 实时处理集成作业 1分钟 作业字节输出速率 展示用户Flink作业每秒输出的字节数 ≥ Byte/s 实时处理集成作业 1分钟 作业字节输入总数 展示用户Flink作业字节的输入总数 ≥ Byte/s
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
