检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 TABLE_EXAMPLE 导入开始前
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前,选择是否清除目的表的数据:
线专用带宽,在机房、电力、专网、服务器、运维方面进行高额投入,但其在面对客户不断变化的业务诉求时,因为人员投入不足,大数据集群能力不匹配,而无法聚焦业务创新,使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后,基于华为公有云的大数据分析能力,可帮助H
导入资源 功能介绍 该接口用于数据质量导入操作使用。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/quality/resource/import 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
连接到文件服务器时出错。 连接到文件服务器时出错。 请联系客服或技术支持人员协助解决。 Cdm.0413 400 向文件服务器传输数据时出错。 向文件服务器传输数据时出错。 请联系客服或技术支持人员协助解决。 Cdm.0415 400 从文件服务器下载文件出错。 从文件服务器下载文件出错。
导出资源 功能介绍 该接口用于数据质量导出操作,可通过该接口导出质量作业或者对账作业等属于数据质量服务的资源数据。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/quality/resource/export 表1 路径参数 参数 是否必选
hive类型的资源。 作业调度 支持单次调度、周期调度和事件驱动调度,周期调度支持分钟、小时、天、周、月多种调度周期。调度周期配置为小时,系统支持按间隔小时和离散小时配置调度周期。 运维监控 支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。
ON对象或JSON数组。 JSON对象 记录节点 文件类型为JSON对象时支持此参数。 记录数据的根节点。该节点对应的数据为JSON数组,系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data.list 高级属性 使用rfc4180解析器 文件格式为CSV格式时支持此参数。
OBS数据迁移到云搜索服务 操作场景 CDM支持在云上各服务之间相互迁移数据,本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中,流程如下: 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。 已经开通
对账作业创建完成后,可以在作业里面进行查看,系统支持通过作业名称、创建人、最近运行时间进行筛选。同时,系统支持模糊搜索。 对账作业创建完成后,可以对该对账作业进行编辑、删除、运行、启动调度、停止调度等操作。 单次调度模式不支持启动调度。 运行单个对账作业 系统支持运行单个对账作业。 选择“数据质量监控
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
ges:jobs:getDetail Import GES作业节点运行 ECS ecs:servers:list ecs:servers:get ecs:servers:stop ecs:servers:start ecs:cloudServers:list Open/Close Resource作业节点运行,创建主机连接
Single:表示单机部署。 Cluster:表示集群部署。 Proxy:表示通过代理部署。 Single Redis服务器列表 Redis服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 密码
Open/Close Resource 功能 通过Open/Close Resource节点按需开启或关闭华为云服务。 参数 用户可参考表1和表2配置Open/Close Resource节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英
安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。
安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同,
工作空间管理员角色的用户,无论是否被添加为审核人,都默认具备审核人权限。 管理审核人 数据服务平台提供管理审核人的功能,您可在审核中心新建和删除审核人,下面以新建审核人为例介绍如何操作。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio
数据治理组织架构 数据治理组织架构框架 数据治理组织职责
数据治理解决方案 数据治理解决方案概述 数据资产入表 数据管理能力成熟度模型DCMM 数据安全能力成熟度模型DSMM
数据管理能力成熟度模型DCMM 数据管理能力概述 DCMM标准模型与等级 贯标与评估流程 父主题: 数据治理解决方案