检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
快速入门指引 数据治理中心DataArts Studio是具备数据全生命周期管理和智能数据管理能力的一站式数据治理平台,基于数据湖底座,提供数据集成、开发、治理等能力。针对不同的使用场景,我们提供了不同的使用方案示例: 表1 快速入门案例定位 使用案例示例 所选数据湖底座 所需最低版本
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。
Rest Client数据连接参数说明 表1 Rest Client连接 参数 是否必选 说明 数据连接类型 是 Rest Client连接固定选择为Rest Client。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否
Studio控制台。选择对应工作空间的“数据集成”模块,进入CDM主界面。 云数据迁移简介 云数据迁移基于分布式计算框架,利用并行化处理技术,支持用户稳定高效地对海量数据进行移动,实现不停服数据迁移,快速构建所需的数据架构。 图1 数据集成定位 产品功能 表/文件/整库迁移 支持批量迁移表或者文件,还支持同构/异构
调试API 操作场景 API创建后需要验证服务是否正常,管理控制台提供调试功能,您可以添加HTTP头部参数与body体参数,调试API接口。 后端路径中含有环境变量的API,不支持调试。 API绑定签名密钥时,不支持调试。 如果API已绑定流控策略,在调试API时,流控策略无效。
支持as语句,例如:'123' as test, now() as curTime。 行移动:源端配置使用SQL语句为是时,在设置字段映射关系阶段不支持该功能。鼠标拖住需要移动的字段所在行,可以任意移动上下位置。 查看转换器:(可选)CDM支持字段内容转换,如果需要可单击操作列下,进入
新冠疫情数据治理思考 中共中央政治局常务委员会2020年2月3日召开会议强调:这次疫情是对我国治理体系和能力的一次大考。全民抗疫的过程中,缺乏有效数据支持就是缺乏对于疫情的快速响应机制、缺乏对于医疗资源合理调配的能力。 通过数据治理,我们可以构建开放通用的数据采集接口,提高数据采
使用云专线直接迁移时的优缺点: 优点:数据无需做多次的搬迁,缩短整体搬迁周期。 缺点:在数据大量传输过程中会占用专线带宽,对客户并行进行的业务存在影响,跨越多个交换机设备。 CDM通过DES(数据快递服务)迁移1个月前的历史数据,迁移路径如下: CDH → DES → CDM(华为云) → OBS → CDM(华为云)
查询实时作业运行状态 功能介绍 查询指定实时作业的运行状态。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/{job_name}/status 参数说明 表1 URI参数说明 参数名
覆盖政务/税务/城市/交通/园区等各行业。 标准规范支持 支持分层结构的行业数据标准。 领域模型丰富 支持包含人员/组织/事件/时空/车辆/资产/设备/资源等八大类数据以及相互之间关系的行业领域模型。 快速应用行业库 支持快速应用的行业主题库、行业算法库、行业指标库。 图3 数据中台
立即执行作业 功能介绍 本接口用于立即执行作业,验证作业是否能执行成功。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/{job_name}/run-immediate 参数说明 表1
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与DWS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。
使用须知 同步对象范围 支持同步DML和DDL。 仅支持同步MyISAM和InnoDB表。 不支持同步视图、外键、存储过程、触发器、函数、事件、虚拟列、唯一约束和唯一索引。 不支持同步对象中存在包含CASCADE、SET NULL、SET DEFAULT之类引用操作的外键。这些关联操作
不涉及且不支持同步的DDL:同步时需要指定好字段的映射。 仅支持同步主键表:MongoDB主键默认为_id。 不涉及且不支持视图、外键、存储过程、触发器、函数、事件、虚拟列、唯一约束、唯一索引、外键索引、Check约束的同步。 不支持自动建表,目标端表需手动建立。 注意事项 除了数据源版本、连接账号权限及同
创建审批人 功能介绍 创建审批人。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/approvals/users 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查询作业实例详情 功能介绍 查询指定作业实例详情信息,包括作业实例内各个节点的执行信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/{job_name}/instances/{instance_id}
查询采集任务详情 功能介绍 查询采集任务详情。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/metadata/tasks/{task_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
DataArts Studio数据开发作业告警最佳实践 DataArts Studio数据开发作为大数据调度平台,如果每日频繁调度大量的大数据作业,可能会遇到如下痛点: 作业失败无感知:大数据的离线作业大部分会在凌晨执行,当作业失败时,用户无法及时得知并处理。 作业补数窗口期较短
支持同步的DML:包括INSERT、UPDATE、DELETE。 支持同步的DDL:新增列。 仅支持同步有主键表。 不支持同步视图、外键、存储过程、触发器、函数、事件、虚拟列、唯一约束和唯一索引。 自动建表支持同步表结构、普通索引、约束(主键、空、非空)、注释。 注意事项 除了数据源版本、连接账号权限及同步对
获取工作空间用户角色 功能介绍 获取工作空间用户角色。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/users/role 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。