检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据治理模块域 数据治理主要专注于如下模块域: 数据集成 数据集成用来完成数据入湖动作,不是简单的数据搬家,而是按照一定的方法论进行数据备份。数据入湖的前提条件是满足6项数据标准,包括:明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。
· 元数据:元数据(Metadata)是用来定义数据类型的数据。主要是描述数据自身信息,包含源、大小、格式或其它数据特征。数据库字段中,元数据用于诠释数据仓库的内容。创建表时,会定义元数据,由列名、类型、列描述三列组成。
数据库迁移 RDS支持导入哪些数据库引擎的数据 为什么要采用mysqldump和pg_dump工具迁移 RDS for MySQL实例迁移中,大量binlog文件导致数据盘空间不足 使用mysqldump导出大表的注意事项 mysqldump的6大使用场景的导出命令
原生数据类型 DLI支持原生数据类型,请参见表1。
数据脱敏是否对原始数据有影响? 没有影响。数据脱敏功能只会对数据进行读取,脱敏后保存到您选择的目标位置,不会对源数据进行改动。 如果需要填写已有的数据表,请勿选择业务数据表,以免影响业务。 目标数据表请勿选择原数据表,以免覆盖原始数据。 父主题: 数据识别和数据脱敏
数据管理的使用流程如下: 图1 数据管理流程 创建数据连接,连接相关数据湖底座服务。具体请参见新建数据连接。 基于相应服务,新建数据库。具体请参见新建数据库。 如果是DWS连接,则需要新建数据库模式;否则直接新建数据表。具体请参见(可选)新建数据库模式。 新建数据表。
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。
数据结构 数据结构(创建云服务器) 数据结构(查询云服务器详情) 数据结构(查询规格详情)
数据源存储的单行数据大小建议不超过2KB,若超过该限制会导致自定义后端响应异常。 当数据源返回numeric类型数据时,如果该数据的小数位精度超过6位,且数值为0时,数据后端会把该数据值转换为科学计数法。因此,不建议把numeric类型数据的小数位精度设置为超过6位。
数据治理框架 数据治理框架 数据治理模块域 数据治理各模块域之间的关系
数据库基本操作 创建和管理数据库 创建和管理表 管理用户及权限 配置GUC参数 用户自定义函数 PostGIS空间数据库扩展 全文检索 SQL语法参考 存储过程 系统表和视图 导入/导出数据 从OBS导入数据到集群 并行导出数据到OBS 使用GDS从远端服务器导入数据 使用GDS导出数据到远端服务器
成长地图 | 华为云 云数据库 GeminiDB 云数据库 GeminiDB是一款基于计算存储分离架构的分布式多模NoSQL数据库服务。在云计算平台高性能、高可用、高可靠、高安全、可弹性伸缩的基础上,提供了一键部署、备份恢复、监控报警等服务能力。
数据保护技术 OBS通过多种数据保护手段和特性,保障存储在OBS中的数据安全可靠。
数据备份 备份原理及方案 设置自动备份策略 设置跨区域备份策略 创建手动备份 下载全量备份文件 下载增量备份文件 查看并导出备份信息 复制备份 删除手动备份 父主题: RDS for PostgreSQL用户指南
数据同步 概述 为添加的数据源创建数据同步链路,目前仅支持创建DRS实时灾备任务。 创建同步链路 登录MAS控制台,在“数据同步”页面,单击右上角的“创建同步链路”。 在“创建同步链路”页面,填写配置信息,然后单击“确定”。
数据架构配置数据搬迁 当前管理中心支持直接搬迁数据架构组件中的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表数据,但不包含事实表数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据架构的导入导出功能进行搬迁。
后续当需要查看血缘关系时,参考查看数据血缘完成元数据采集,并成功完成作业调度后,即可在数据目录组件查看手动配置的MRS Spark节点血缘关系。 父主题: 节点数据血缘
“训练集比例”即用于训练模型的样本数据比例;“验证集比例”即用于验证模型的样本数据比例。“训练验证比例”会影响训练模板的性能。 父主题: Standard数据管理
DRS数据对比 父主题: 图解数据复制服务
如图1所示,MapDS具有地图相关数据接入、数据处理和数据调用三大能力,并最终通过数据调用对外进行服务。 数据接入用于在获取各类型地图原始数据后进行上云和导入。