检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据管理 数据管理流程 新建数据连接 新建数据库 (可选)新建数据库模式 新建数据表 父主题: 数据开发
数据分类接口 导入预置分类 查询数据分类列表 父主题: 数据安全API
"\\"")[0]}替代Loop表达式,因为StringUtil表达式最终获取的数据类型为String,无法与标准数据Int比较大小。 作业编排如图5所示: 图5 主作业样例 其中,For Each节点的关键配置如下: 数据集:数据集就是HIVE SQL节点的Select语句的执行结果。使用EL表达式#{Job
定义识别规则 您可以通过定义敏感数据识别规则,来有效识别数据库内的敏感数据字段。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts Studio实例级别配置,各工作空间之间数据互通。这样在数据地图组件中,就可以根据一套标准的分级分类管理对数据进行统一管理。 识别规则定义
数据密级接口 获取数据密级 创建数据密级 根据指定的id查询数据密级 删除指定的id的数据密级 根据指定的id修改数据密级 批量删除数据密级 父主题: 数据安全API
数据架构API 概览 信息架构接口 数据标准接口 数据源接口 码表管理接口 流程架构接口 数据标准模板接口 审批管理接口 主题管理接口 主题层级接口 目录管理 原子指标接口 衍生指标接口 复合指标接口 维度接口 限定接口 维度表接口 事实表接口 汇总表接口 业务指标接口 版本信息接口
配置脱敏策略 本节介绍如何创建数据脱敏策略,然后在数据目录中进行脱敏查询。 前提条件 数据分类规则已创建,数据分类规则的创建请参见新建数据分类。 数据连接,数据表已创建成功,敏感数据已被数据目录采集。 创建脱敏策略 在DataArts Studio控制台首页,选择实例,单击“进入
数据安全 数据安全概述 数据安全总览页面 统一权限治理 敏感数据治理 敏感数据保护 数据安全运营 管理回收站
数据血缘方案简介 什么是数据血缘 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中
Object 返回的数据信息。 状态码: 404 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 删除数据标准。 DELETE
object 接口返回的数据。 表5 data 参数 参数类型 描述 value value object 查询数据标准模板结果 表6 value 参数 参数类型 描述 allFields Array of StandElementFieldVO objects 数据标准全部属性,集合
修改数据标准 功能介绍 修改数据标准。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/standards/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入,但并无脏数据。这种情况下需要调低并发任务数,即可避免此类问题。 父主题: 数据集成(CDM作业)
查看数据标准详情 功能介绍 通过ID获取数据标准详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/standards/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
指标设计 业务指标 技术指标 父主题: 数据架构
数据开发应用示例 操作场景 数据治理中心DataArts Studio帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 下面介绍如何调用创建脚本API创建脚本,API的调用方法请参见如何调用API。 前提条件 您
Boolean 是否禁用。 id 否 String 数据标准ID,ID字符串。 actived 是 Boolean 是否显示,系统默认项必然显示不允许修改。true表示使用数据标准时体现(增改查的时候可以操作该属性),false表示使用数据标准时不体现。 required 否 Boolean
DES迁移一个月前的历史数据 迁移流程 通过脚本将一个月前的历史数据导入到DES盒子。DES盒子的相关操作请参见数据快递服务 DES。 DES将数据快递到华为云数据中心。 使用华为云CDM将DES中的数据迁移到华为云OBS。 使用华为云CDM将OBS数据迁移到MRS。 其中CDM
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中,右键单击目录名称,选择“新建目录”。 在弹出的“新建目录”页面,配置如表1所示的参数。
单击标签后的“编辑”,可修改标签描述。 标识数据:添加标签 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。 选择“数据地图 > 数据目录”,并进入“技术资产”页签。 在资产搜索输入框输入需要添加标签的数据的关键字,然后单击“搜索”,搜索结果以列表方式显示。