-
新冠疫情数据治理思考 - 数据治理中心 DataArts Studio
程中,缺乏有效数据支持就是缺乏对于疫情的快速响应机制、缺乏对于医疗资源合理调配的能力。 通过数据治理,我们可以构建开放通用的数据采集接口,提高数据采集效率;统一数据标准,轻松融合数据;建立跨平台的数据提取和数据追溯,实现开放共享,打通信息孤岛;保护隐私数据,构建可信数据。 以“健
-
数据集成概述 - 数据治理中心 DataArts Studio
围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移(Cloud Data Migration,后简称CDM)服务,本文中的“云数据迁移”、“CDM”均指“数据集成”。
-
使用流程 - 数据治理中心 DataArts Studio
包含如下特性: 集中式访问控制 融合了不同的大数据服务进行统一权限管理,如MRS、DWS、DLI等,给用户带来了统一的权限配置入口,极大的提高了易用性和可维护性。 多级权限配置模型 权限模型分级管理,权责分明。空间权限集限定了整个工作空间用户可访问的权限范围,权限集或角色将空间权
-
数据权限简介 - 数据治理中心 DataArts Studio
为确保数据使用安全可控,使用数据表需要先申请权限。数据权限模块为用户提供便捷的权限管控能力,提供可视化申请审批流程,并可以进行权限的审计和管理。提高数据安全的同时,还可以方便用户进行数据权限管控。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示: 权限
-
定义识别规则 - 数据治理中心 DataArts Studio
相关操作 编辑识别规则:在识别规则页面,单击对应识别规则操作栏中的“编辑”,即可修改识别规则关联的密级、分类和描述。如果为自定义规则,还支持修改识别规则和正则表达式。 编辑识别规则状态:新增的识别规则默认为启用状态。当识别规则为关闭状态时,表示该规则将不可被添加到识别规则组。 需要
-
物理模型设计 - 数据治理中心 DataArts Studio
数仓分层的4层层级的名称支持由管理员自定义,单击层级名后的即可重命名。重命名建议能够区分不同层级,规则为只能包含英文字母、中文、数字、下划线,且以英文字母或中文开头。 图2 新建分层治理模型 图3 新建物理模型 在弹出窗口中配置如下参数,然后单击“确定”。 图4 配置物理模型
-
数据安全治理维度 - 数据治理中心 DataArts Studio
培训,夯实理论知识。另一方面,通过开展数据安全攻防对抗等实战演练,将以教学为主的静态培训转为以实践为主的动态培训,提高人员参与积极性,有助于理论向实践转化,切实提高人员数据安全技能。 父主题: 数据安全能力成熟度模型DSMM
-
数据密级 - 数据治理中心 DataArts Studio
入名称和描述。 删除:在“数据密级”页签,勾选不需要的分级,单击左上角的“删除”。 调整优先级:在“数据密级”页签,单击相应分级后的上移(提高优先级)和下移(降低优先级)。 父主题: 数据安全(待下线)
-
DataArts Studio数据开发作业告警最佳实践 - 数据治理中心 DataArts Studio
执行时间超过基线,导致影响业务时发现时间太晚,无法及时执行补救措施。 为了解决这些痛点,您可以通过配置各类作业告警,及时发现调度运行问题,提高处理问题的窗口期。 配置作业节点失败重试及配置作业失败告警:通过配置作业节点失败重试及失败告警,尽量减少在集群压力峰值时的作业无法正常运行
-
CDM与其他数据迁移服务有什么区别,如何选择? - 数据治理中心 DataArts Studio
L一键自动将语法转换为华为云GaussDB/RDS的SQL语法,通过预迁移评估、结构迁移两大核心功能和自动化语法转换,提前识别可能存在的改造工作、提高转化率、最大化降低用户数据库迁移成本。更多详情请参见数据库和应用迁移。 简言之,UGO用于异构数据库迁移前的数据库评估、结构迁移、语法转化。
-
开发SQL脚本 - 数据治理中心 DataArts Studio
斜的数据并相应地优化连接算法来提高性能) spark.sql.mergeSmallFiles.enabled(启用合并小文件功能,可以通过将小文件合并成较大的文件来提高性能,可以减少处理许多小文件的时间,并通过减少需要从远程存储中读取的文件数量来提高数据本地性。) 如果不使用的话
-
数据安全概述 - 数据治理中心 DataArts Studio
示。 图2 用户使用场景图 特点优势 数据安全融合了不同的大数据服务进行统一入口管理,包括MRS、DWS、DLI,统一的权限配置入口能力,提高了易用性和可维护性。 数据安全以数据为中心,提供了围绕数据全链路的数据安全能力,如统一权限治理、敏感数据治理、隐私保护策略管理。 统一权限
-
查看质量报告 - 数据治理中心 DataArts Studio
比率”、“值率”的系统内置规则及用户自定义规则可以生成质量评分报告。 包含“比率”、“值率”的规则可以分为正向规则及反向规则,正向规则即比值越高,代表数据质量越好;反向规则即比值越高,则数据质量越差。 正向规则包含唯一值率、重复值率、合法比率规则,反向规则包含空值率规则。 正向规
-
数据治理实施方法论 - 数据治理中心 DataArts Studio
进落实计划的过程中,利用季度性实施的数据治理评分卡,针对性地监测度量各业务/IT部门的数据治理情况,持续推进各部门的数据治理水平提升,进而提高整体数据治理成熟度。 年度进行的整体数据治理成熟度评估,可以结合主观及客观调查度量,综合反映企业当前数据治理成熟度水平,帮助制定切实可行的
-
元数据简介 - 数据治理中心 DataArts Studio
L的任务运行状态。在数据仓库系统中,元数据可以帮助数据仓库管理员和开发人员非常方便地找到其所关心的数据,用于指导其进行数据管理和开发工作,提高工作效率。 在DataArts Studio中,元数据是数据的描述数据,可以为数据说明其属性(数据连接、类型、名称、大小等),或其相关数据(位于拥有者、标签、分类、密级等)。
-
开发批处理单任务SQL作业 - 数据治理中心 DataArts Studio
斜的数据并相应地优化连接算法来提高性能) spark.sql.mergeSmallFiles.enabled(启用合并小文件功能,可以通过将小文件合并成较大的文件来提高性能,可以减少处理许多小文件的时间,并通过减少需要从远程存储中读取的文件数量来提高数据本地性。) 如果不使用的话
-
华为数据治理思考 - 数据治理中心 DataArts Studio
华为在数字化转型过程中,解决了上述问题,因为华为认识到只有建立了完整的数据治理体系,保证数据内容的质量,才能够真正有效地挖掘企业内部的数据价值,对外提高竞争力。 高质量数据是业务创新的基础 企业在市场中的竞争领域已经从同一领域市场份额争夺,发展到开发新竞争领域的创新性竞争阶段,这从客观上对
-
更新管理 - 数据治理中心 DataArts Studio
更新管理 更新漏洞 DataArts Studio云服务通过华为云安全公告密切跟踪漏洞,如Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)、Fastjson存在反序列化漏洞(CNVD-2022-40233)等,如发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞。
-
配置Elasticsearch/云搜索服务(CSS)目的端参数 - 数据治理中心 DataArts Studio
置文件名称) 开启路由 开启路由后,支持指定某一列的值作为路由写入Elasticsearch。 说明: 开启路由前建议先建好目的端索引,可提高查询效率。 否 路由字段 “开启路由”参数选择为“是”时配置,用于配置目的端路由字段。目的端索引存在但是获取不到字段信息时,支持手动填写字
-
MySQL整库迁移到RDS服务 - 数据治理中心 DataArts Studio
用户名、密码:登录数据库的用户和密码。 创建RDS连接时,“使用本地API”设置为“是”时,可以使用MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL的性能。 由于RDS上的MySQL默认没有开启LOAD DATA功能,所以同时需要修改MySQL实例的参数组,将“lo