检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤7：数据质量监控 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中，可以对业务指标和数据质量进行监控。
源官方文档确定具体端口。 下表提供部分数据源端口情况，仅供参考。 表1 数据源使用端口概览 数据源 涉及端口 MySQL 3306 DWS 8000 PostgreSQL 5432 Oracle 1521 Kafka 非安全：9092/9094 安全：9093/9095 MRS Hudi
节点概述 节点定义对数据执行的操作。数据开发模块提供数据集成、计算&分析、数据库操作、资源管理等类型的节点，您可以根据业务模型选择所需的节点。 节点的参数支持使用EL表达式，EL表达式的使用方法详见表达式概述。 节点间的连接方式支持串行和并行。 串行连接：按顺序逐个执行节点，当A节点执行完成后，再执行B节点。
L、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时，才支持此参数。 type为DLISQL时，可以通过查看所有数据库接口获取数据库信息。 type为其他类型的时候，需要通过JDBC方式连上集群，查询数据库信息。默认值为空。 queueName 否 String
配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数 配置Redis目的端参数 配置
名称：用户自定义连接名称，例如“oracle_link”。 数据库服务器地址、端口：配置为Oracle服务器的地址、端口。 数据库名称：选择要导出数据的Oracle数据库名称。 用户名、密码：Oracle数据库的登录用户名和密码，该用户需要拥有Oracle元数据的读取权限。 单击“保存”回到连接管理界面。
进入后，在页面选择所需要批量修改主题的项，单击“更多 > 修改主题”，可以将选中的项更改到其它主题。配置完成单击“确定”。 图1 批量修改主题 批量修改目录 当前仅支持码表管理、数据标准进行批量修改目录操作。 在DataArts Studio数据架构控制台，单击左侧导航栏中的码表管理或数据标准。
回滚内容包括： DLI：数据连接、数据库、资源队列、脚本内容。 DWS：数据连接、数据库、脚本内容。 HIVE：数据连接、数据库、资源队列、脚本内容。 SPARK：数据连接、数据库、脚本内容。 SHELL：主机连接、参数、交互式参数、脚本内容。 RDS：数据连接、数据库、脚本内容。 PRESTO：数据连接、模式、脚本内容。
String 数据连接名称。 database_name String 数据库名称。 table_name String 数据表名名称。 data_connection_score Double 数据连接评分。 database_score Double 数据库评分。 table_score
数据集成配置 连接属性 否 例如：1. socketTimeout：配置JDBC连接超时时间，单位为毫秒；2. mysql.bool.type.transform：配置mysql读取时，是否将tinyint(1)解析成boolean类型，默认为true 数据源认证及其他功能配置 用户名
通用操作 逆向数据库（关系建模） 逆向数据库（维度建模） 导入导出 关联质量规则 查看表 批量修改主题/目录/流程 管理配置中心 审核中心 父主题： 数据架构
PostgreSQL到DWS参数调优 源端优化 SQLServer抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型
“添加新字段”来手动增加，确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时，不支持获取样值功能。 SQLServer作为目的端数据源时，不支持timestamp类型字段的写入，需修改为其他时间类型字段写入（如datetime）。 当作业源端为O
“添加新字段”来手动增加，确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时，不支持获取样值功能。 SQLServer作为目的端数据源时，不支持timestamp类型字段的写入，需修改为其他时间类型字段写入（如datetime）。 当作业源端为O
作空间的“数据开发”，系统跳转至数据开发页面。 构造原始表格student_score。新建临时Hive SQL脚本，选择Hive连接和数据库后，粘贴如下SQL语句并运行，运行成功后即可删除此脚本。 CREATE TABLE `student_score` (`name` String
SON、Avro。 表所属的数据连接 输入已创建的数据连接名称。 表所属的数据库 输入已创建的数据库名称。 数据连接扩展信息 连接类型为DLI时，输入DLI队列名称。连接类型为DWS或POSTGRESQL时，输入Schema名称。 DWS表 DISTRIBUTE BY 仅DWS连
“添加新字段”来手动增加，确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时，不支持获取样值功能。 SQLServer作为目的端数据源时，不支持timestamp类型字段的写入，需修改为其他时间类型字段写入（如datetime）。 当作业源端为O
若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 模式 是 默认选择SQL脚本中设置的数据库，支持修改。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。
中进行分析，无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台，参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表，包括贸易统计数据库、贸易详单信息表和基础信息表。 基于业务需求，在DLI控制台中开发相应的SQL脚本进行贸易统计分析。 父主题：
该参数支持配置通配符（*），实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如： SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串，就全部导出。 SCHEMA_E
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
