检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置数据表权限(待下线) 在已上线数据安全组件的区域,数据目录中的数据权限功能已由数据安全组件提供,不再作为数据目录组件能力。当前数据目录中的数据权限功能仅限于存量用户使用。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线
数据目录 该模块提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控。 查看工作空间数据地图 配置数据访问权限(待下线) 配置数据安全策略(待下线) 采集数据源的元数据 数据目录典型场景教程
维度建模 新建维度 管理维度表 新建事实表 父主题: 模型设计
通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要,数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例,介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入,但并无脏数据。这种情况下需要调低并发任务数,即可避免此类问题。 父主题: 数据集成(CDM作业)
定义识别规则(部分高级特性) 您可以通过定义敏感数据识别规则,来有效识别数据库内的敏感数据字段。当前识别规则支持使用内置规则和简单的正则表达式。 如果您对需要更强大的识别规则,数据还支持您使用组合规则。组合规则的多个子规则间可进行与或非逻辑判断,单个子规则支持Groovy脚本、正则表达式
发现敏感数据 完成了敏感数据识别规则组定义后,就可以根据定义的规则来创建敏感数据识别任务,发现敏感数据,并将敏感数据同步到数据地图组件。 敏感数据发现任务运行后,为使该识别规则在静态脱敏任务中生效,必须在“敏感数据分布>手工修正”页面对任务中的识别规则进行“确认”,使规则状态变更为
数据治理实施方法论 数据治理实施方法论按照数据治理成熟度评估->评估现状、确定目标、分析差距->计划制定、计划执行->持续监测度量演进的关键实施方法形成数据治理实施闭环流程。 图1 数据治理实施方法论 这也遵循了PDCA(Plan-Do-Check-Action)循环的科学程序,同时结合数据治理工作的特点设计了两个层面的度量评估
新冠疫情数据治理思考 中共中央政治局常务委员会2020年2月3日召开会议强调:这次疫情是对我国治理体系和能力的一次大考。全民抗疫的过程中,缺乏有效数据支持就是缺乏对于疫情的快速响应机制、缺乏对于医疗资源合理调配的能力。 通过数据治理,我们可以构建开放通用的数据采集接口,提高数据采集效率
数据目录支持采集哪些对象的资产? 数据目录目前支持采集数据湖的资产,例如MRS Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务
溯源数据水印 本章主要介绍如何利用泄露的数据文件进行水印溯源。 数据溯源主要用来对泄露数据进行快速溯源。通过对泄露数据文件的完整度和水印信息痕迹来检测水印是否存在,快速识别水印标记信息,从而对安全事件精准定位追责。 前提条件 用户获得泄露的数据文件后,生成字符分隔值(Comma-Separated
整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线同步场景,不适用于在线实时同步。
数据开发 数据开发概述 数据管理 脚本开发 作业开发 集成作业开发 解决方案 运行历史 运维调度 配置管理 审批中心 下载中心 节点参考 EL表达式参考 简易变量集参考 使用教程
配置脱敏策略(待下线) 本节介绍如何创建数据脱敏策略,然后在数据目录中进行脱敏查询。 在已上线数据安全组件的区域,数据目录中的数据安全功能已由数据安全组件提供,不再作为数据目录组件能力。当前数据目录中的数据安全功能仅限于存量用户使用。 数据安全组件当前在华东-上海一、华东-上海二、
数据集成(CDM作业) CDM与其他数据迁移服务有什么区别,如何选择? CDM有哪些优势? CDM有哪些安全防护? 如何降低CDM使用成本? CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长? CDM可以跨账户使用吗
查看任务监控 监控元数据采集任务运行情况,查看采集日志,支持重跑采集任务。 在数据目录页面,选择“元数据采集 > 任务监控”。在任务监控页面,对采集任务进行监控,参考表1。 表1 监控采集任务 参数名 说明 任务名称 采集任务的名称。 实例状态 实例(即采集任务)的状态。 成功 部分成功
配置数据目录权限(待下线) 本章节主要介绍数据目录权限管理。 在已上线数据安全组件的区域,数据目录中的数据权限功能已由数据安全组件提供,不再作为数据目录组件能力。当前数据目录中的数据权限功能仅限于存量用户使用。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-
应用场景 一站式的数据运营治理平台 从数据采集->数据架构->质量监控->数据清洗->数据建模->数据联接->数据整合->数据消费->智能分析,一站式数据智能运营平台,帮助企业快速构建数据运营能力。 优势 多种云服务作业编排 全链路数据治理管控 丰富数据引擎支持 支持对接所有华为云的数据湖与数据库云服务
网关管理接口 获取网关实例(专享版) 获取网关分组 父主题: 数据服务API
新建数据库 数据连接创建完成后,您可以基于数据连接,通过可视化模式或SQL脚本方式新建数据库。 (推荐)可视化模式:您可以直接在DataArts Studio数据开发模块通过No Code方式,新建数据库。 SQL脚本方式:您也可以在DataArts Studio数据开发模块或对应数据湖产品的