检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
补数据场景使用介绍 适用场景 在某项目搬迁场景下,当您需要补充以前时间段内的历史业务数据,需要查看历史数据的详细信息时,可以使用补数据特性。 补数据是指作业执行一个调度任务,在过去某一段时间里生成一系列的实例。用户可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。
Object 返回的数据信息。 状态码: 404 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 删除数据标准。 DELETE
数据安全 数据安全概述 数据安全总览页面 统一权限治理 敏感数据治理 敏感数据保护 数据安全运营 管理回收站
元数据实时同步接口(邀测) 功能介绍 元数据实时同步接口,支持批量。该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/metadata/async-bulk 表1 路径参数 参数 是否必选 参数类型
修改数据标准 功能介绍 修改数据标准。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/standards/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
qualified_name 否 String 数据连接限定名称。 dw_id 否 String 数据连接id,可通过数据连接列表中获取。 create_user 否 String 数据连接创建者。 create_time 否 Number 数据连接创建时间,时间戳。 响应参数 状态码:
补数据场景使用介绍 适用场景 在某项目搬迁场景下,当您需要补充以前时间段内的历史业务数据,需要查看历史数据的详细信息时,可以使用补数据特性。 补数据是指作业执行一个调度任务,在过去某一段时间里生成一系列的实例。用户可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。
object 接口返回的数据。 表5 data 参数 参数类型 描述 value value object 查询数据标准模板结果 表6 value 参数 参数类型 描述 allFields Array of StandElementFieldVO objects 数据标准全部属性,集合
数据源为Hive时支持哪些数据格式? 问题描述 云数据迁移服务,数据源为Hive时支持的数据格式有哪些? 解决方案 云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 父主题: 数据集成(CDM作业)
数据开发应用示例 操作场景 数据治理中心DataArts Studio帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 下面介绍如何调用创建脚本API创建脚本,API的调用方法请参见如何调用API。 前提条件 您
查看数据标准详情 功能介绍 通过ID获取数据标准详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/standards/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
集群ID,获取方法请参见查询单个数据连接信息 查询Hive和DWS数据源操作信息时该数值为必填项,当数据源为DLI时无需填写。 datasource_type 是 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database_name 否 String 数据库名 注意:该
Boolean 是否禁用。 id 否 String 数据标准ID,ID字符串。 actived 是 Boolean 是否显示,系统默认项必然显示不允许修改。true表示使用数据标准时体现(增改查的时候可以操作该属性),false表示使用数据标准时不体现。 required 否 Boolean
数据安全治理能力概述 发展数字经济、加快培育发展数据要素市场,必须把保障数据安全放在突出位置。这就要求我们着力解决数据安全领域的突出问题,有效提升数据安全治理能力。随着数据安全监管要求逐渐落地,组织数据安全治理动力明显攀升,数据安全技术及服务供给不断释放。整体来看,数据安全治理进入快速发展阶段。
数据标准模板接口 查询数据标准模板 创建数据标准模板 修改数据标准模板 删除数据标准模板 初始化数据标准模板 父主题: 数据架构API
0232 400 数据写入失败。原因:%s。 数据写入失败。 请联系客服或技术支持人员协助解决。 Cdm.0233 400 提取数据过程异常。原因:%s。 提取数据过程异常。 请联系客服或技术支持人员协助解决。 Cdm.0234 400 载入数据过程异常。原因:%s。 载入数据过程异常。
qualified_name 否 String 数据连接限定名称。 dw_id 否 String 数据连接id,可通过数据连接列表中获取。 create_user 否 String 数据连接创建者。 create_time 否 Number 数据连接创建时间,时间戳。 响应参数 状态码:
元数据管理模块是数据湖治理的基石,支持创建自定义策略的采集任务,可采集数据源中的技术元数据。支持自定义业务元模型,批量导入业务元数据,关联业务和技术元数据、全链路的血缘管理和应用。 图5 全链路数据血缘 数据地图 数据地图围绕数据搜索,服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用
审计数据访问日志 数据安全提供DWS、HIVE和DLI数据源上详细的数据操作日志记录,包括时间、用户、操作对象、操作类型等信息。通过这些日志,可以快速进行数据操作审计,更好地做到数据安全管控。 前提条件 为实现MRS Hive数据源的数据访问审计,需要满足如下条件: MRS Hi
数据集成API 集群管理 作业管理 连接管理 附:公共数据结构