正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分库分表同步支持的数据源类型 分库分表同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。 支持分库分表同步的数据源如下所示: 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? 问题描述 在使用CDM迁移数据到数据仓库服务(DWS)时,迁移作业失败,且执行日志中出现“value too long for type character varying”错误提示。 原因分析 这种情况一般是源表与目标
并将脱敏后的数据写入到目标端数据表。而目标表数据可以用来对外提供数据服务,为数据安全使用提供基础保障。 动态脱敏 在数据安全组件创建动态脱敏策略后,系统会将动态脱敏策略同步到数据源服务,由数据源对数据列按照指定规则进行动态脱敏。当策略中指定的用户和用户组在访问敏感数据时,系统会直
数据目录 该模块提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控。 查看工作空间数据地图 配置数据访问权限 配置数据安全策略(待下线) 采集数据源的元数据 数据目录典型场景教程
不同。 管理中心的数据连接用于对接数据湖底座,DataArts Studio基于数据湖底座,提供一站式数据开发、治理和服务等能力。 数据集成的数据连接仅限于在数据集成中使用,用于将源端原始数据集成到目的端数据湖底座中,数据集成支持的数据源请参见数据集成支持的数据源。 表1 DataArts
通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要,数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例,介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。
数据质量监控 数据质量监控简介 新建数据质量规则 新建数据质量作业 新建数据对账作业 查看作业实例 查看数据质量报告 父主题: 数据质量
敏感数据识别任务运行后,会为识别到的敏感字段生成相应密级和分类,默认不会生成数据表密级。在手动勾选任务中的“根据数据识别结果更新数据目录/数据地图中数据表密级”选项后,才会生成数据表密级,数据表密级取敏感字段的最高密级。 当前敏感数据同步仅支持同步到数据地图组件。不支持将识别到
成整个数据的处理分析流程。 在DataArts Studio数据开发模块中,您将完成以下步骤: 数据管理 脚本开发 作业开发 历史数据到源数据表,使用数据集成将历史数据从OBS导入到SDI贴源层的原始数据表。 历史数据清洗,使用数据开发的MRS Hive SQL脚本将源数据表清洗之后导入DWI层的标准出行数据表。
STRING); 不同数据源的SQL语法有所差异,开发SQL语句前请预先了解各数据源的语法参考文档。 表3 数据表参数 参数 说明 数据连接类型 数据表所属的数据连接类型。 数据连接 数据表所属的数据连接。 数据库 数据表所属的数据库。 单击“保存”,新建数据表。 相关操作 查看表
据,关联业务和技术元数据、全链路的血缘管理和应用。 数据地图 数据地图围绕数据搜索,服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者,提供方便快捷的数据搜索服务,拥有功能强大的血缘信息及影响分析。 在数据地图中,可通过关键词搜索数据资产,支持模糊搜索,快速检索,定位数据。
Studio数据开发模块或对应数据湖产品的SQL编辑器上,开发并执行用于创建数据库的SQL脚本,从而创建数据库。 本章节以可视化模式为例,介绍如何在数据开发模块新建数据库。 前提条件 已开通相应的云服务。比如,MRS服务。 已新建数据连接,请参见新建数据连接。 MRS API方式连接不支持通过可视化模式管理
率;统一数据标准,轻松融合数据;建立跨平台的数据提取和数据追溯,实现开放共享,打通信息孤岛;保护隐私数据,构建可信数据。 以“健康码”为依托的各类政务小程序,正在加速提升市民信息化应用能力,基于数据治理、数据共享,很可能在不久以后,我们就可以实现“一码走天下”。将线上疫情应急治理
勾选“忽略更新、添加操作”:不采集数据源中的元数据 数据源元数据已删除 当数据连接中元数据发生变化时,通过配置删除策略,设置数据目录中元数据的更新方式。 勾选“从数据目录中删除元数据”:当数据源中的某些元数据已经被删除,数据目录中也将同步删除对应的元数据 勾选“忽略删除”:当数据源中的某些元数据已经被删除,数据目录中不同步删除对应元数据。
失败。 数据质量当前不支持MRS Hive组件的严格模式。 数据库 选择配置的数据质量规则所应用到的数据库。 说明: 数据库基于已建立的数据连接。 当“规则类型”选择“库级规则”,数据对象选择对应的数据库即可。 数据表 选择配置的数据质量规则所应用到的表。 说明: 数据表与数据库强相关,基于已选择的数据库。
新建数据连接 通过新建数据连接,您可以在数据开发模块中对相应服务进行更多数据操作,例如:管理数据库、管理命名空间、管理数据库模式、管理数据表。 在同一个数据连接下,可支持多个作业运行和多个脚本开发,当数据连接保存的信息发生变化时,您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接
连接参数说明 关系数据库连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/云搜索服务(CSS)连接 DLI连接 DMS Kafka连接
配置Kafka/DMS Kafka源端参数 配置Elasticsearch/云搜索服务源端参数 配置OpenTSDB源端参数 配置MRS Hudi源端参数 配置MRS ClickHouse源端参数 配置神通(ST)源端参数 配置达梦数据库 DM源端参数 配置YASHAN源端参数 父主题: 在CDM集群中创建作业
oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。 Service Name 数据库名称 要连接的数据库。 db_user 用户名 拥有Oracle数据库的读取权限的用户。
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务