检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查看表行数和库大小 在数据治理流程中，我们常常需要统计数据表行数或数据库的大小。其中，数据表的行数可以通过SQL命令或数据质量作业获取；数据库大小可以直接在数据目录组件中查看，详情请参考如下操作指导： 统计数据表行数 统计数据库大小 统计数据表行数 对于不同类型的数据源，DataArts
IDC自建数据库。 入方向放行：放通弹性公网IP到数据库监听端口的访问。 出方向放行：放通数据库监听端口到弹性公网IP的数据传输。 本地IDC自建数据库添加白名单。 本地IDC自建数据库需要添加弹性公网IP（例如100.x.x.x/32）访问数据库的权限。各类型数据库添加白名单的
0/19 网络配置流程 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段（例如172.16.0.0/19）访问数据库的权限。各类型数据库添加白名单的方法不同，具体方法请参考各数据库官方文档进行操作。 数据库若配置了安全组，则还需要增加入
作业中目的连接为DDS连接时，即导入数据到文档数据库服务（DDS）时，目的端作业参数如表1所示。 表1 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 ddsdb 集合名称 选择待导入数据的集合，相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。
可能原因 在执行DWS SQL脚本时，提示id不存在，原因是由于id的大小写引起的。 解决方案 DWS执行SQL时，系统默认是小写，如果是大写字段需要加""。 举例：select * from table1 order by "ID"; select * from table order
的数仓支持的更新表的能力不同，在数据架构中所做的表更新操作，如果数仓不支持，则无法确保数据库中的表和数据架构中的表是一致的。例如，DLI类型的表更新操作不支持删除表字段，如果在数据架构的表中删除了表字段，则无法在数据库中相应的删除表字段。 如果线下数据库支持更新表结构语法，可以在DDL模板配置对应语法
配置Redis目的端参数 当作业将数据导入到Redis时，目的端作业参数如表1所示。 表1 Redis作为目的端时的作业参数 参数名 说明 取值样例 Redis键前缀 键的前缀，类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式： STRING：不带列名，如“值1，值2”形式。
置异常字段，默认会输出异常表的所有字段。 说明： 自定义异常表包含四种方式：添加表前后缀、添加表前缀、添加表后缀、选择已有表。表前缀以英文字母和下划线开头，且只能包含英文字母、数字和下划线。表后缀只能包含英文字母、数字和下划线。 当单击“选择已有表”时，需要选择表名，数据库和sc
单击“汇总表”页签，进入汇总表页面。 在汇总表列表中，单击需要关联质量规则的汇总表名称。 在汇总表的详情页的表字段列表中，单击，配置单个表字段关联质量规则。 图9 汇总表单个字段关联质量规则 配置完成后，单击“确定”，完成汇总表字段关联质量规则。 更新已有规则：若勾选此项，新添加的规则会覆盖旧规则。
技术资产 在资产列表中，单击所需查看的元数据名称，即可查看详情信息。 例如，在资产列表中，找到事实表fact_stroke_order，单击事实表名称，即可查看事实表的详情信息。在详情页面，进入“血缘”页签，可查看事实表的输入输出血缘信息。 图2 血缘 在资产列表中，找到汇总表，例如dw
MapReduce服务（MRS Doris） √ √ √ √ × √ × 云数据库 RDS（云数据库MySQL） √ √ √ √ √ √ × 云数据库 RDS（云数据库PostgreSQL） √ √ √ √ √ × × 云数据库 RDS（云数据库SQL Server） √ × × √ × × × MySQL
能运营平台，帮助企业快速构建数据运营能力。 优势 多种云服务作业编排 全链路数据治理管控 丰富数据引擎支持 支持对接所有华为云的数据湖与数据库云服务，也支持对接企业传统数据仓库，比如Oracle等。 简单易用 图形化编排，即开即用，轻松上手。 图1 一站式数据运营治理平台 云上数据平台快速搭建
目标字段赋值：单击操作列“目标字段赋值”可自定义MongoDB到DWS的字段映射情况。同时用户可以为所有DWS目标端的字段，设置对应的源表映射字段，或者设置手动赋值的字符串内容。 列名：目的端DWS表字段的名称。 类型：目的端DWS表字段的类型。 字段值：目的端DWS表字段的取值来源。 表9 字段值的取值方式
或尝试替换其他表引擎，例如MergeTree。 表1 MRS ClickHouse作为目的端时的作业参数 参数名 说明 取值样例 模式或表空间 单击输入框后面的按钮可选择模式或表空间。 schema 表名 输入或选择写入数据的目标表名。 单击输入框后面的按钮可进入表的选择界面。
据： 关系型数据库，如MySQL/PostgreSQL等（可使用RDS类型连接，采集其元数据） 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件（MRS Hudi作为一种数据格式，元数据存放在Hive中，操作通过Spark进行。在Hudi表开启“同步hive表配置”后，可通过采集MRS
执行SQL命令ALTER DATABASE OPEN启动数据库。 Oracle开启数据库和需要迁移的表的补充日志。 执行以下SQL开启数据库补充日志。 ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; 开启需要实时同步的表的补充日志。 ALTER TABLE "schema_name"
Hive）类型的下所包含的数据库中的敏感数据，包括敏感表总数、敏感字段总数、脱敏表数、嵌入水印表数、水印溯源数。 图2 数据概况 数据分析报表 敏感表密级分布图 展示敏感发现任务识别出的表的密级分布，密级和用户定义的一致。右侧显示用户定义的密级及其关联的敏感表数目。 敏感数据识别任务
在页面选择所需要的模型单击进入，在右侧的列表中将显示该模型下面所有的表。您也可以展开主题结构，选中一个对象，右侧的列表中将显示该对象下所有的表。 在列表中，找到所需要的表，单击表名称进入表详情页面。 图1 关系模型列表 在详情页的表字段区域，选中需要关联质量规则的字段，然后单击“关联质量规则”按钮。
湖的前提条件是满足6项数据标准，包括：明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。此标准由数据代表在入湖前完成梳理并在数据治理平台上进行资产注册。 数据标准 数据标准管理着重建立统一的数据语言，各级数据层级业务对象的定义是数据标准的载体，
实时处理作业中执行DWS相关语句，可以使用参数变量为用户的数据仓库进行增量导入，分区处理等操作。 参数 用户可参考表1，表2和表3配置DWS SQL节点的参数。 表1 属性参数 参数 是否必选 说明 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
