检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成提供20+简单易用的迁移能力和多种数据源到数据湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。 数据架构 作为数据治理的一个核心模块,承担数据治理过程中的数据加工并业务化的功能,提供智能数据规划、自定义主题数据模型、统一数据标准、可视化数据建模、标注数据标签等功能,有利于改善数据质量,有效支撑经营决策。
*”的参数为可选参数。一个主题对象需要填写一行信息。 表3 模板参数说明 参数名 说明 上级主题 上层主题的编码路径,以/分隔。 *名称 中文名称。只允许除/、\、<、>以外的字符。 *编码 英文名称。只允许英文字母、数字、空格、下划线、中划线、左右括号以及&符号。 别名 主题对象的别名。
业务的数据资源智能管理解决方案,实现全域数据入湖,帮助政企客户从多角度、多层次、多粒度挖掘数据价值,实现数据驱动的数字化转型。 DAYU的核心主要是华为智能数据湖FusionInsight,包含数据库、数据仓库、数据湖等各计算引擎和数据治理中心DataArts Studio平台,
数据治理各模块之间的关系 数据标准为数据开发和设计工作提供核心参考,同时也通过数据开发实现数据标准化落地。数据标准为数据应用提供“一致的语言”;数据标准为主数据管理提供主数据定义的基准,数据标准也是数据质量管理策略设计、数据质量规则制定的核心依据;数据标准所定义的密级分类和责任主体,为数据
文名,如表/字段未指定描述则固定使用英文名。 来自描述 来自英文名称 说明: 进行逆向数据库配置时,如果逆向后表中文名称/字段中文名称的来源选择“来自描述”,则用中文名在进行描述时,表的字段注释不能重复。 *数据表 选择全部或部分需导入的数据表。 图7 逆向配置 逆向数据库的结果
查度量,综合反映企业当前数据治理成熟度水平,帮助制定切实可行的数据治理整体目标。季度性实施的数据治理评分卡是一个重要的工具手段,从一些关键核心维度进行季度性迭代评分,持续促进所有部门数据治理工作的落实提升。 父主题: 数据治理度量评估体系
数据治理解决方案概述 数据治理解决方案是以DataArts Studio为核心产品,打造领先的数智融合生产线,面向行业落地水平、场景化解决方案 ,助力企业数字化升级,实现数据驱动精益管理,探索数据价值流通,在水平和行业两个方向构建可复制数据治理解决方案。 数据治理解决方案正在持续
新建数据质量规则 数据质量支持对离线数据的监控,质量规则是数据质量的核心。DataArts Studio系统内置的模板规则共计34种,分为库级规则、表级规则、字段级规则和跨字段级规则、跨源级规则等规则类型,如表1所示。 表1 系统内置的规则模板一览表 规则类型 维度 模板名称 适用引擎
新建类型 表1 基本配置 参数名称 说明 类型分组 选择新建类型所属的类型分组。 名称 数据类型的名称。只能包含中文、英文字母、数字、左右括号、空格和下划线,且以中文或英文字母开头。 编码 数据类型的编码,必须为数仓支持的类型。只能包含大写字母,下划线,数字,且以大写字母或下划线开头。
据质量相关的改进计划,持续进行数据质量管控。 数据资产 数据资产包括业务资产、技术资产、指标资产等。数据资产管理是数据治理的重要支撑手段,核心是构建企业级的元数据管理中心、建立数据资产目录、建立数据搜索引擎、实现数据血缘和数据全景可视。其中元数据包括业务元数据、技术元数据和操作元
数据目录组件有什么用? 数据目录的核心是通过元数据采集任务,采集并展示企业在工作空间范围内的数据资产地图,包括元数据信息和数据血缘关系。 元数据管理 元数据管理模块是数据湖治理的基石,支持创建自定义策略的采集任务,可采集数据源中的技术元数据。支持自定义业务元模型,批量导入业务元数
参数 用户可参考表1和表2配置DIS Stream节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 默认情况下,节点名称会与选择的通道名称保
《大数据产业发展十四五规划》多次提到“数据管理”和“数据管理能力”,进入数字化经济时代,数据已成为产业发展的生产要素,企业的数据管理能力成为企业竞争的核心能力之一。 DCMM(Data management Capability Maturity Model)是《数据管理能力成熟度评估模型》GB/T
权限治理使用流程 统一权限治理提供了对于MRS、DWS、DLI数据湖仓中的库、表、字段的访问权限配置的核心能力,包含如下特性: 集中式访问控制 融合了不同的大数据服务进行统一权限管理,如MRS、DWS、DLI等,给用户带来了统一的权限配置入口,极大的提高了易用性和可维护性。 多级权限配置模型
据资产开发的相关投入。 企业数据资产的计量方法分为成本法、收益法、市场法。具体每个企业有哪些数据资产能入表,怎么开展相关工作,成为各企业的核心问题。能够入表的数据资源必须满足很多要求,首先,必须是企业合法拥有的数据,需要做完整合规授权的检查。第二是精确可计量。第三,要确保这些数据
示例场景说明 本实践通过DataArts Studio服务的数据开发DLF组件和数据湖探索服务(DLI)对某电商商城的用户、商品、评论数据(脱敏后)进行分析,输出用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间,您可以学
开发经验的用户使用。 前提条件 已在“管理中心 > 数据连接”页面,完成数据源的配置。 约束与限制 API生成暂不支持Hive数据源的中文表和中文列场景。 新建API目录 API目录是按一定次序编排记录的API索引,是反映类别、指导使用、检索API的工具,帮助API开发者对API服务进行有效的分类和管理。
作业失败无感知:大数据的离线作业大部分会在凌晨执行,当作业失败时,用户无法及时得知并处理。 作业补数窗口期较短:上游作业失败重跑过多导致下游核心业务执行时间超过基线,导致影响业务时发现时间太晚,无法及时执行补救措施。 为了解决这些痛点,您可以通过配置各类作业告警,及时发现调度运行问题,提高处理问题的窗口期。
目的 数据是企业核心资产,企业需要建立起数据字典,有效管理其日益重要的数据和信息资源;同时建立数据持续改进机制,来不断提升数据质量。数据的价值和风险应被有效管理,以支撑企业管理简化、业务流集成、运营效率提升和经营结果的真实呈现。数据准确是科学决策的基础,数据架构和标准的统一是全流程高效运作、语言一致的前提。
调用创建资源的API报错“资源名不合法”是什么原因? 问题描述 调用创建资源的API报错“资源名不合法”。 解决方案 资源名称只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1-32个字符。 父主题: 数据开发