检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持按topic分片。 MRS Kafka 支持按topic分片。 搜索 Elasticsearch 不支持分片。 云搜索服务(CSS) 不支持分片。 父主题: 优化迁移性能
失败重试:选择作业操作列的“更多 > 失败重试”,可以对执行失败的作业,选择自动重试三次或者不重试。 修改完成后单击“保存”或“保存并运行”。 父主题: 在CDM集群中创建作业
首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 父主题: 节点数据血缘
任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
${custom(database)} ${custom(fromLinkName)} ${custom(schemaName)} ${custom(tableName)} 父主题: 配置CDM作业源端参数
Hudi表配置 对Hudi建表设置自定义参数属性,此处填入的参数将会在options中生效。例如:主键、combineKey、索引。 - 父主题: 配置CDM作业目的端参数
偏移量”。 DS='${dateformat(yyyy-MM-dd,-1,DAY)}' 分区字段含有空值 是否允许分区字段包含空值。 是 父主题: 配置CDM作业源端参数
分片字段包含空值。 多并发抽取时,若确定分片字段不含Null,将该值设为“否”可提升性能,若不确定,请设为“是”,否则可能会丢数据。 是 父主题: 配置作业源端参数
createModel 更新模型 DAYU_DS dsModel updateModel 删除模型 DAYU_DS dsModel deleteModel 父主题: 支持云审计的关键操作
useNullable 否 Boolean 当选择自动创建目的表时,如果选择使用非空约束,则目的表字段的是否非空约束,与原表具有相应非空约束的字段保持一致。 父主题: 目的端作业参数说明
户提供源端和目的端数据源的用户名和密码,这些信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。 图2 CDM迁移原理 父主题: 数据集成(CDM作业)
该功能作用是:降低存储占用空间,存储更高效;特定场景下rowkey分布更均匀。 否:源端数据库中所有类型的数据,都会按照字符串写入HBase。 否 父主题: 配置CDM作业目的端参数
任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。 父主题: 节点参考
HH:mm:ss.SSS Z"),如图4所示。 图4 配置表达式 保存转换器配置,再保存并运行作业,可解决云搜索服务的解析日期格式失败问题。 父主题: 数据集成(CDM作业)
用ECS自建的数据库或文件系统中,CDM均可帮助用户轻松应对各种数据迁移场景,包括数据上云,云上数据交换,以及云上数据回流本地业务系统。 父主题: 数据集成(CDM作业)
scroll查询时会记录一个scroll_id,超时或者scroll查询结束后会清除请求的srcoll_id,通过设置这个超时时间配置,来指定scroll_id超时时间。 5 父主题: 配置CDM作业源端参数
业务场景。用于业务场景的CDM集群可以通过“批量数据迁移增量包”进行购买,且不建议同时作为数据连接Agent代理和运行数据迁移作业使用。 父主题: 创建并管理CDM集群
字典、数据血缘)。 协助执行IT相关的数据治理工作。 确保数据系统的技术方案符合本领域的信息架构,技术选择能够满足数据发展中长期的需求。 父主题: 数据治理组织架构
21123 The single node job type cannot be empty. 单节点作业类型不能为空。 选择单节点作业类型。 父主题: 错误码
TAMP类型,建议该字段带有索引。 id 分片字段是否允许空值 “按表分区抽取”选择“否”时,显示该参数,是否允许分片字段包含空值。 是 父主题: 配置作业源端参数