检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
审核通过。 数仓规划:新建SDI层和DWI层两个模型 在数仓规划中,分别新建SDI层和DWI层两个关系模型,并通过逆向数据库导入原始数据表到SDI层的关系模型中,在DWI层模型中新建一个“标准出行数据”的标准化的业务表。 在数据架构控制台,单击左侧导航树中的“数仓规划”。 选择S
步骤7:数据质量监控 数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中,可以对业务指标和数据质量进行监控。
步骤8:数据资产查看 在DataArts Studio数据目录模块中,您可以查看数据地图,详情请参见数据目录章节。数据地图包含业务资产和技术资产,业务资产就是指逻辑实体和业务对象,技术资产就是指数据连接、数据库对象等。 本章节介绍如何在DataArts Studio数据目录中查看
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。 采集并监控元数据 在DataArts Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。
暗水印,水印内容不可见,需要进行水印提取。 非结构化数据(docx、pptx、xlsx和pdf)。支持注入明水印,可在本地打开水印文件查看效果。 结构化数据 *水印内容 系统会将水印标识嵌入到数据表中,标识长度不超过16个字符即可。 *数据选择 结构化数据仅支持csv、xml和json格式文件。
数据静态脱敏,可以防止隐私数据在未经脱敏的情况下从企业流出。满足企业既要保护隐私数据,同时又保持监管合规,满足企业合规性。敏感数据通过静态脱敏,提供内置高效、丰富的脱敏算法,对原始数据中敏感数据进行掩码、截断、hash等,并将脱敏后的数据写入到目标端数据表。而目标表数据可以用来对外提供数据服务,为数据安全使用提供基础保障。
数据治理框架 数据治理组织架构 数据治理度量评估体系 华为数据治理实践 03 入门 DataArts Studio入门教程,指导您如何在DataArts Studio控制台完成端到端的全流程数据运营。 快速入门 基于电商BI报表的数据开发流程 基于电影评分数据的数据集成与开发流程 基于出租车出行数据的全流程数据治理
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入,但并无脏数据。这种情况下需要调低并发任务数,即可避免此类问题。 父主题: 数据集成(CDM作业)
是否支持同步作业到其他集群? 问题描述 CDM是否支持同步作业到其他集群? 解决方案 CDM虽然不支持直接在不同集群间迁移作业,但是通过批量导出、批量导入作业的功能,可以间接实现集群间的作业迁移,方法如下: 将CDM集群1中的所有作业批量导出,将作业的JSON文件保存到本地。 由
业务指标监控主界面包括以下功能模块。 功能 说明 总览 默认首页是总览页面,显示了业务场景实例的运行状态和告警状态。 主要包括以下几部分内容: 快速入门,介绍业务指标监控的业务流。 最近7天内的业务场景实例运行分布情况、实例告警运行分布情况。 可选周期内的告警趋势图、业务场景看板图、指标看板图。
会出现格式为“表名称:属性名称”的报错提示。 导入表到物理模型 在DataArts Studio数据架构控制台,单击左侧导航栏的“关系建模”进入关系建模页面。 在页面的中间栏位,从最上方的下拉列表中找到所需要的物理模型,或者从“数仓规划”选择一个物理模型单击进入,在主题目录中选中一个对象,然后单击“导入”。
配置密码。 从本地导入JSON文件时,导入文件大小不能超过1MB。 旧空间导出作业和连接 请您登录控制台首页,选择并进入旧工作空间的“数据集成”模块,然后执行如下操作进行批量导出。 在CDM主界面,单击左侧导航上的“集群管理”,单击集群“操作”列的“作业管理”,进入到“表/文件迁移”界面。
新建作业”,开始创建从OBS迁移数据到DLI的任务,如图6所示。 图6 创建OBS到DLI的迁移任务 作业名称:用户自定义作业名称。 源连接名称:选择创建OBS连接中的“obslink”。 桶名:待迁移数据所属的桶。 源目录或文件:待迁移数据的具体路径。 文件格式:传输文件到数据表时,这
DLI连接 介绍 通过DLI连接,可以导入数据到数据湖探索(DLI)服务,CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":
DMS Kafka连接 介绍 通过DMS Kafka连接,可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 连接样例 { "links": [ { "link-config-values": {
已购买并配置虚拟专用网络VPN,与云上的至少一个虚拟私有云VPC连通。若未开通虚拟专用网络VPN请参考经典版VPN购买流程进行配置。 准备工作 查询打通网络过程中所涉及到对象的网段(包含数据源、中转VPC、资源组),为便于理解,本章节将举例为您进行介绍。 表1 资源网段规划 资源名称 说明 私网网段示例 数据源网段
Kafka到DLI实时同步中,作业运行失败,报“Array element access needs an index starting at 1 but was 0”怎么办? 问题描述 Kafka到DLI实时同步中,作业运行失败,报“Array element access needs
数据开发应用示例 操作场景 数据治理中心DataArts Studio帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。 下面介绍如何调用创建脚本API创建脚本,API的调用方法请参见如何调用API。 前提条件 您
脚本执行完成后在“执行结果”中,单击“下载”可以直接下载CSV格式的结果文件到本地。可以在下载中心查看下载记录。 脚本执行完成后在“执行结果”中,单击“转储”可以将脚本执行结果转储为CSV和JSON格式的结果文件到OBS中,详情请参见表3。 转储功能依赖于OBS服务,如无OBS服务,则不支持该功能。
Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据,加快数据变现,实现数字化转型。 DataArts Studio使用流程简介 使用DataArts