检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
率;统一数据标准,轻松融合数据;建立跨平台的数据提取和数据追溯,实现开放共享,打通信息孤岛;保护隐私数据,构建可信数据。 以“健康码”为依托的各类政务小程序,正在加速提升市民信息化应用能力,基于数据治理、数据共享,很可能在不久以后,我们就可以实现“一码走天下”。将线上疫情应急治理
在作业的“操作”列,选择“更多 > 补数据”。 弹出“补数据”对话框,配置如表2所示的参数。 图4 补数据参数 表2 参数说明 参数 说明 补数据名称 系统自动生成一个补数据的任务名称,允许修改。 作业名称 显示需要补数据的作业名称。 调度时间方式 单段连续业务日期 补数据的时间是连续的业务日期时间段。
什么是数据血缘关系? 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关
成整个数据的处理分析流程。 在DataArts Studio数据开发模块中,您将完成以下步骤: 数据管理 脚本开发 作业开发 历史数据到源数据表,使用数据集成将历史数据从OBS导入到SDI贴源层的原始数据表。 历史数据清洗,使用数据开发的MRS Hive SQL脚本将源数据表清洗之后导入DWI层的标准出行数据表。
原始记录”,单击“逆向数据库”,通过逆向数据库,导入原始表。 逆向数据库依赖于数据资产采集,请您确保已对所需逆向的数据库完成数据资产采集。 图25 模型目录 在“逆向数据库”窗口中,配置如下所示参数,然后单击“确定”。在本示例中选择贴源层数据库demo_sdi_db中的原始数据表。 图26
全部 数据集成 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 数据集成 数据集成提供30+同构/异构数据源之间数据集成的功能,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成基于
关系建模为事务性模型,对应三范式建模。 维度建模为分析性模型,主要包括事实表、维度表的设计,多用于实现多角度、多层次的数据查询和分析。 DataArts Studio是基于数据湖的数据运营平台,维度建模使用的场景比较多。 父主题: 数据架构
数据质量操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建目录 Category createCategory
数据集成配置数据搬迁 当前管理中心支持直接搬迁数据集成组件中的CDM作业及其中的连接数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过CDM组件的导入导出功能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业,可以导出到本地保存。
数据目录支持采集哪些对象的资产? 数据目录目前支持采集数据湖的资产,例如MRS Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS
配置脱敏策略 本节介绍如何创建数据脱敏策略,然后在数据目录中进行脱敏查询。 前提条件 数据分类规则已创建,数据分类规则的创建请参见新建数据分类。 数据连接,数据表已创建成功,敏感数据已被数据目录采集。 创建脱敏策略 在DataArts Studio控制台首页,选择实例,单击“进入
为云传输大量数据,致力于解决海量数据传输网络成本高、传输时间长等难题。更多详情请参见数据快递服务。 各个数据迁移服务区别 表1 各个数据迁移服务区别 服务名 主要功能 与其他服务的区别 云数据迁移CDM 大数据迁移上云 多种数据源到数据湖的迁移 与DRS的区别: 数据库迁移使用DRS;到大数据系统的迁移使用CDM。
deleteCodeTable 查看数据标准 DAYU_DS dsStandardElement getListStandardElement 创建数据标准 DAYU_DS dsStandardElement createStandardElement 更新数据标准 DAYU_DS dsStandardElement
不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 不自动创表 导入前清空数据 选择目的端表中数据的处理方式: 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否”
DLMRequestRecord getAppsTop 查询api 统计数据详情 DLMRequestRecord getApisDetail 查询app 统计数据详情 DLMRequestRecord getAppsDetail 查询api 仪表板数据详情 DLMRequestRecord getApisDashboard
数据调研 流程设计 主题设计 逻辑模型 父主题: 数据架构
CARBON类型。 如果原始数据表存储格式不满足要求,您可以通过CDM将原始数据直接导入到DLI中进行分析,无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台,参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表,包括贸易统计数据库、贸易详单信息表和基础信息表。
数据架构支持逆向数据库吗? 问题描述 数据架构是否支持逆向数据库。 解决方案 数据架构支持逆向数据库,目前支持基于数据仓库服务(DWS)、数据湖探索(DLI)、MapReduce服务(MRS Hive)的数据库逆向。 父主题: 数据架构
数据安全配置数据搬迁 当前暂不支持数据安全数据的导入导出,需要您手动同步各项配置数据和任务。 数据安全的配置数据,需要您按照旧空间的相关配置,手动在新空间进行重新配置。 父主题: DataArts Studio配置数据搬迁实践
数据源元数据获取 获取数据库列表 获取schemas 获取数据源中的表 获取数据源中表的字段 父主题: 管理中心API