检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
show_control Integer 是否要显示正则表达式。 data_quality_name String 质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。
数据血缘方案简介 什么是数据血缘 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系
目的端为OBS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig.bucketName
数据血缘方案简介 什么是数据血缘 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系
什么是数据血缘关系? 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关系来表达数据之间的这种关系
Oracle数据迁移到DWS 操作场景 CDM支持表到表的迁移,本章节介绍如何通过CDM将数据从Oracle迁移到数据仓库服务(Data Warehouse Service,简称DWS)中,流程如下: 创建CDM集群并绑定EIP 创建Oracle连接 创建DWS连接 创建迁移作业
MRS Impala SQL 功能 通过MRS Impala SQL节点执行数据开发模块中预先定义的Impala SQL脚本。 参数 用户可参考表1和表2配置MRS Impala节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字
MySQL数据迁移到OBS 操作场景 CDM支持表到OBS的迁移,本章节以MySQL-->OBS为例,介绍如何通过CDM将表数据迁移到OBS中。流程如下: 创建CDM集群并绑定EIP 创建MySQL连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK
MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1,表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未设置
MRS HetuEngine 功能 通过MRS HetuEngine节点执行数据开发模块中预先定义的HetuEngine SQL脚本。 参数 用户可参考表1和表2配置MRS HetuEngine节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文
OBS导入数据到SQL Server时出现Unable to execute the SQL statement怎么处理? 问题描述 使用CDM从OBS导入数据到SQL Server时,作业运行失败,错误提示为:Unable to execute the SQL statement
MRS ClickHouse 功能 通过MRS ClickHouse节点执行数据开发模块中预先定义的ClickHouse SQL脚本。 参数 用户可参考表1,表2和表3配置MRS ClickHouse节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文
MySQL数据迁移到DWS 操作场景 CDM支持表到表的迁移,本章节以MySQL-->DWS为例,介绍如何通过CDM将表数据迁移到表中。流程如下: 创建CDM集群并绑定EIP 创建MySQL连接 创建DWS连接 创建迁移作业 前提条件 已获取DWS数据库的IP地址、端口、数据库名称
show_control Integer 是否要显示正则表达式。 data_quality_name String 质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。
MRS Presto SQL 功能 通过MRS Presto SQL节点执行数据开发模块中预先定义的Presto SQL脚本。 参数 用户可参考表1,表2和表3配置MRS Presto SQL节点的参数。 表1 属性参数 参数 是否必选 说明 SQL或脚本 是 可以选择SQL语句或
show_control Integer 是否要显示正则表达式。 data_quality_name String 质量名称。 alert_conf String 告警配置。 expression String 正则相关校验规则中正则配置。
查询采集任务列表 功能介绍 查询采集任务列表。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/metadata/tasks/search 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目
参考:CDM性能实测数据 背景说明 文中提供的性能指标仅用于参考,实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前,可先用小数据量实测进行速度摸底。 环境信息 CDM集群为xlarge规格,2.9.1 200版本。 性能测试中,表数据规格为
curl 操作场景 使用curl命令调用APP认证的API时,您需要先下载JavaScript SDK生成curl命令,然后将curl命令复制到命令行调用API。 前提条件 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取
常见错误码参考 如果操作请求在执行过程中出现异常导致未被处理,则会返回一条错误信息。错误信息中包括错误码和具体错误描述。表1列出了错误信息中的常见错误码。您可以通过表1中的处理建议进行下一步操作,处理相应的异常。 错误码说明 表1 错误码说明 错误码 错误信息 处理建议 Cdm.0000