检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据开发、数据质量、数据目录、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 您可以使用本文档提供的API对数据治理中心的各
请参见如何配置安全组规则章节。 CDM集群与ECS主机处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 此外,您还必须确保该ECS主机与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。
已开通相应的云服务并在云服务中创建数据库。 已创建与脚本的数据连接类型匹配的数据连接,请参见新建数据连接。Flink SQL脚本不涉及该操作。 当前用户已锁定该脚本,否则需要通过“抢锁”锁定脚本后才能继续开发脚本。新建或导入脚本后默认被当前用户锁定,详情参见编辑锁定功能。 操作步骤 参考访问DataArts
是否必填、允许空值以及默认值。 如果设定为必填,则API在访问时,必须传入指定参数。 如果设定为非必填,则在API访问时,未传入的参数会使用默认值进行代替;如果未传入参数,也没有默认值,则允许空值时会使用null替换,不允许空值时忽略该参数条件。 说明: 入参定义中,参数大小限制如下:
Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的
是否必填、允许空值以及默认值。 如果设定为必填,则API在访问时,必须传入指定参数。 如果设定为非必填,则在API访问时,未传入的参数会使用默认值进行代替;如果未传入参数,也没有默认值,则允许空值时会使用null替换,不允许空值时忽略该参数条件。 说明: 入参定义中,参数大小限制如下:
单击,在弹出的对话框中配置转储任务的参数(参数说明请见《数据接入服务用户指南》的管理转储任务)。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。
理平台的支撑。 图2 DataArts Studio各模块之间的示意图 DataArts Studio平台提供了上述各个功能模块,满足数据接入、数据建模、标准化、质量监控、数据服务等全流程的数据管理动作。 父主题: 数据治理框架
Integer 自动续费标识,当前实例为按需支付时必填,0代表不续费,1代表自动续费。 status Integer 实例状态,1未生效2生效中3已删除=退订4保留期=冻结5宽限期6删除中。 vpc_id String 虚拟私有云id,可在当前虚拟私有云列表中获取。 security_group_id
MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。
开发实时处理单任务MRS Flink SQL作业 对已新建的作业进行开发和配置。 开发单任务模式的实时处理Flink SQL作业,请您参考开发SQL脚本、配置作业参数、保存作业和模板章节。 前提条件 已新建作业。 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业后才能继续开发作
代理集群可选多个,其中只要有一个集群可以正常连接即可。如果有多个集群可正常连接,则数据开发后台会随机选择一个用于连接。 URL地址 是 填写请求主机的IP或域名地址,以及端口号。例如:https://192.160.10.10:8080 HTTP方法 是 选择请求的类型: GET POST PUT
文档数据库服务(DDS) 不支持分片。 MongoDB 不支持分片。 Cassandra 支持按Cassandra的token range分片。 消息系统 数据接入服务(DIS) 支持按topic分片。 Apache Kafka 支持按topic分片。 DMS Kafka 支持按topic分片。 MRS
践落地数据治理方法论。 本章节操作场景如下: 对MRS Hive数据湖中的出租车出行数据进行数据模型设计。 数据库demo_sdi_db中已具备出租车出行原始数据表sdi_taxi_trip_data。 原始数据表sdi_taxi_trip_data的数据字段介绍如下: 数据说明如下:
0a2f5e28af00f3850f31c00f31e884e0 workspace 工作空间id,获取方式请参见实例ID和工作空间ID。 调用批量数据迁移或实时数据接入API时无需配置。 调用数据开发API时,有多个DataArts Studio实例时必选。 只有一个DataArts实例时可选。不填写则默
error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 根据传入的参数,删除维度表,只支持删除状态为草稿、已下线、已驳回的维度表。 DELETE https://{endpoint}/v2/{project_id}/design/atomic-indexs
error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 根据传入的参数,删除维度,只支持删除状态为草稿、已下线、已驳回的维度。 DELETE https://{endpoint}/v2/{project_id}/design/dimensions {
删除汇总表 功能介绍 批量删除汇总表,只能删除状态为草稿、已线下、已驳回的表。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/design/aggregation-logic-tables 表1 路径参数 参数 是否必选 参数类型 描述
error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 根据传入的参数,删除原子指标,只支持删除状态为草稿、已下线、已驳回的原子指标。 DELETE https://{endpoint}/v2/{project_id}/design/atomic-indexs
error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 根据传入的参数,删除复合指标,只支持删除状态为草稿、已下线、已驳回的复合指标。 DELETE https://{endpoint}/v2/{project_id}/design/compound-metrics