检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。
创建数据连接需要注意哪些事项? RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 数据连接中
dards/templates/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 action-id 是 String acti
cies/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 id 是 String 脱敏策略id 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace
g/dynamic/policies 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String
略。 超时重试 当“失败重试”配置为“是”才显示此配置参数。 设置所选作业的所有节点执行超时后,是否重新执行节点。 如果设置为保持不变,则各节点保持原来的超时重试策略。 最大重试次数 当“失败重试”配置为“是”才显示此配置参数。 配置节点失败重试次数。 取值范围[1, 100],默认值
时同步。 CDM迁移数据库整库或数据表失败时,已经导入到目标表中的数据不会自动回滚,对于需要事务模式迁移的用户,可以配置“先导入到阶段表”参数,实现迁移失败时数据回滚。 极端情况下,可能存在创建的阶段表或临时表无法自动删除,也需要用户手工清理(阶段表的表名以“_cdm_stage
入口API算子是API工作流的入口,工作流发布后可通过调用入口API来调用API工作流。在入口API算子内需定义API工作流的名称、URL、参数协议、请求方式、审核人、安全认证以及请求参数。 入口API算子的配置方法,详见配置入口API算子。 API目录 普通API 必选 普通API是执行数据查询操作的
图1 进入空间资源权限页面 单击空间资源权限页面的“新建” ,在弹出的策略配置页参考表1配置相关参数,配置完成单击“保存”,策略配置完成。 表1 配置空间资源权限策略参数说明 参数名 参数描述 *策略名称 标识空间资源权限策略,为便于策略管理,建议名称中包含资源对象和授权对象。 资源对象
态脱敏订阅”页签。 图2 进入动态脱敏订阅页签 单击“创建订阅”,弹出创建订阅窗口,参数配置参考表1。 图3 创建订阅参数配置 创建动态脱敏订阅任务参数配置说明: 表1 配置任务参数 参数名 参数说明 连接配置 *选择集群 选择需要同步第三方平台动态脱敏策略的集群。 当前暂不支持
击作业名称,选择“重命名”。 图2 重命名作业 在弹出的“重命名作业名称”页面,配置新作业名。 图3 重命名作业名称 表1 重命名作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。 单击“确定”,重命名作业。
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置 父主题: 数据集成(CDM作业)
“fromJobConfig.columns”、“toJobConfig.columnList”这2个参数)。 导出作业的JSON文件到本地,在本地手动修改JSON文件中的参数后(原理同2相同),再导回CDM。 推荐使用方法1,下面以HBase导到DWS为例进行说明。 解决方法一:CDM的字段映射界面增加字段
选择连接器类型 连接器类型选择“Elasticsearch”后单击“下一步”,配置Elasticsearch连接参数,Elasticsearch连接参数与云搜索服务的连接参数一样: 名称:用户自定义连接名称,例如“es_link”。 Elasticsearch服务器列表:配置为本地E
成API的权限申请。 如果生成API时设置入参位置为Static,则还需设置静态参数值。如果未配置Static参数值,则SDK调用时会使用API入参默认值,API工具调用时会导致缺少Static参数值的报错。 图1 申请权限 申请后,需要等待审核中心审核,方可授权成功。 授权成功
Studio基础包 进入购买DataArts Studio实例界面。 配置DataArts Studio实例参数,各参数说明如表1所示。 表1 DataArts Studio实例参数 参数名称 样例 说明 区域 - 选择实例的区域,不同区域的资源之间内网不互通。 选择区域时,您需要考虑以下几个因素:
DES迁移一个月前的历史数据 迁移流程 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM
Studio基础包 进入购买DataArts Studio实例界面。 配置DataArts Studio实例参数,各参数说明如表1所示。 表1 DataArts Studio实例参数 参数名称 样例 说明 区域 - 选择实例的区域,不同区域的资源之间内网不互通。 选择区域时,您需要考虑以下几个因素:
单击“新建”,在弹出的对话框中,配置相关参数,新建指标。 SQL语句如下: SELECT SUM(fare_amount) FROM sdi_taxi_trip_data; 图4 新建指标 选择“业务指标监控 > 规则管理”。 单击“新建”,在弹出的对话框中,配置相关参数,新建规则。 图5 新建规则
API生命周期管理 √ √ 自定义域名 √ √ Excel导入导出 √ √ 支持VPC通道 √ √ API参数编排-配置方式 √ √ API参数编排-脚本方式 √ √ API参数编排-MyBatis方式 × √ API编排 × √ 注册现有API √ × 返回总条数 × √ API分组变量管理