检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量发布 功能介绍 批量发布。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/approvals/batch-publish 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目
批量下线 功能介绍 批量下线。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/approvals/batch-offline 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目
管理资源 用户可以通过资源管理功能,上传自定义代码或文本文件作为资源,在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后,配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更,只需要修改资源引用的位置即可
查询作业实例详情 功能介绍 查询指定作业实例详情信息,包括作业实例内各个节点的执行信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/{job_name}/instances/{instance_id
步骤5:数据架构设计 DataArts Studio数据架构以关系建模、维度建模理论支撑,实现规范化、可视化、标准化数据模型开发,定位于数据治理流程设计落地阶段,输出成果用于指导开发人员实践落地数据治理方法论。 DataArts Studio数据架构建议的数据分层如下: SDI (
查询作业 功能介绍 查询作业接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
作业任务参数说明 在指定集群创建作业或者随机集群创建作业并执行时,由“driver-config-values”参数指定作业任务配置,包含如下功能: 作业失败重试:如果作业执行失败,可选择是否自动重新启动作业。 作业分组:CDM支持对作业进行分组,分组后的作业可以按组显示、按组批量删除作业
产品功能 数据集成:多种方式异构数据源高效接入 数据集成提供30+同构/异构数据源之间数据集成的功能,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成基于分布式计算框架,利用并行化处理技术,支持用户稳定高效地对海量数据进行移动
源端为MySQL,目的端为MRS Hudi 本章节适用于配置实时处理集成作业MySQL到MRS Hudi链路,期望将源端1个或多个MySQL实例的数据实时同步到目的端为MRS Hudi数据库的场景。 MySql源端配置。 支持选择源端多库多表迁移。 DDL支持新增列。 Hudi目的端配置
获取数据标准集合 功能介绍 根据查询条件分页获取数据标准集合,按修改时间降序排序。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/standards 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
云数据库MySQL/MySQL数据库连接参数说明 连接MySQL数据库连接时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称
获取操作结果 功能介绍 获取批量操作的结果,如逻辑模型转物理模型和逆向数据库操作。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/design/operation-results 表1 路径参数 参数 是否必选 参数类型 描述 project_id
源端为Oracle,目的端为Hudi 该链路目前仅支持整库场景。 该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。 约束限制 Oracle版本支持:10、11、12、19 。 Oracle 库需要开启归档日志,归档日志建议至少保留三天,开通归档日志详情请参考
数据架构概述 模型设计方法概述 根据业务需求抽取信息的主要特征,模拟和抽象出一个能够反映业务信息(对象)之间关联关系的模型,即数据模型。数据模型也是可视化的展现企业内部信息如何组织的蓝图。数据模型应满足三方面要求:能比较真实地模拟业务(场景);容易被人所理解;便于在IT系统中实现。
创建数据集成作业 本章节将介绍如何创建DataArts Studio数据集成作业。 本例中,需要创建如下三类集成作业: OBS到MySQL迁移作业:为方便演示,需要将OBS中的CSV格式的样例数据导入到MySQL数据库中。 MySQL到OBS迁移作业:正式业务流程中,需要将MySQL
目的端为OBS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig.bucketName
查看指标详情 功能介绍 通过ID查看指标的详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/biz-metrics/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID
步骤1:数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列操作
查询业务指标信息 功能介绍 通过名称、创建者、修改时间分页查找业务指标信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/biz-metrics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
同步IAM用户到数据源 默认情况下,用户通过DataArts Studio数据连接访问数据源(此处指MRS/DWS数据源)时,使用数据连接中的账号密码进行认证。为实现不同用户访问数据源时,能够根据其自身用户信息管控用户访问数据的权限,需要先将IAM上的用户信息同步到数据源上,然后不同用户在数据源上才能有不同的身份