检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用教程 概览 DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到DMS Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS
查找事实表 功能介绍 通过中英文名称、创建者、审核人、状态、修改时间分页查找事实表信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/fact-logic-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查看并修改CDM集群配置 操作场景 CDM集群已经创建成功后,您可以查看集群基本信息,并修改集群的配置。 查看集群基本信息: 集群信息:集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置:
查询脚本列表 功能介绍 此接口用于查询脚本列表,每次查询返回的脚本数量上限是1000个。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/scripts?offset={offset}&limi
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型,并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务(Data Warehouse Service,简称DWS)中自动建表时,DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
修改当前空间下分配的队列资源 功能介绍 修改当前空间下分配的队列资源。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/security/permission/queue/assigned-source/{id} 表1 路径参数 参数 是否必选
规则请参见如何配置安全组规则章节。 此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。 说明: 当同一Agent连接多个MRS集群时,如果其中一个MRS集群被删除或状态异常,会影响另外一个正常的MRS集群
配置Doris源端参数 Doris源端参数列表 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。
配置Oracle源端参数 支持从Oracle导出数据。 表1 Oracle作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里
配置Hive源端参数 支持从Hive导出数据,使用JDBC接口抽取数据。 Hive作为数据源,CDM自动使用Hive数据分片文件进行数据分区。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 读取方式 包括HDFS和JDBC两种读取方式。默认为HD
配置。如果开关是关闭状态,则不需要审批,直接提交新版本即可。 如果要撤销已提交的审批流程,请您在“审批中心”的“我的申请”页签里进行撤销。修改完成后,可以重新提交审批。 开启了提交审批开关后,提交脚本、删除脚本以及导入“提交态”的脚本时,均需要进行审批。 关闭提交审批开关前,请确保当前工作空间已无待未审批的流程。
配置YASHAN源端参数 作业中源连接从YASHAN导出的数据时,源端作业参数如表1所示。 表1 YASHAN作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用S
如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后,后续节点处理策略 是 节点执行失败后的操作: 终止后续节点执行计
问题案例总览 表1 问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办?
数据集成(实时作业) 问题案例总览 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? 如何配置Hudi Compaction的Spark周期任务? MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中
ORACLE数据连接参数说明 表1 Oracle数据连接 参数 是否必选 说明 数据连接类型 是 ORACLE连接固定选择为ORACLE。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
配置GBase源端参数 表1 GBase作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,作业将根据该语句导出数据。
查找维度 功能介绍 通过中英文名称、描述、创建者、审核人、状态、l3Id、衍生指标idList、修改时间分页查找维度信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/dimensions 表1 路径参数 参数 是否必选 参数类型
D缓存刷新需要时间,因此同步完成后,请等待5分钟,新修改策略才能生效。 针对MRS 2.x及之前版本集群 : 使用admin账户登录MRS Manager页面。 在Manager页面的“系统设置”中,单击“密码策略配置”,修改密码策略。 “密码有效期(天)”配置为“0”,表示永不过期。
配置DLI源端参数 支持从DLI导出数据。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。