检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
se_name”的数据库 database_name.table_name：筛选数据库名包含“database_name”的数据库，在匹配到的数据库中再匹配表名包含“table_name”的数据表 例如： 填写为“datatest”，则元数据实时同步将同步数据库名包含“datatest”的数据库中的数据表。
创建连接的时间。 connector-name 是 String 连接器名称，对应的连接参数如下：generic-jdbc-connector：关系数据库连接。obs-connector：OBS连接。hdfs-connector：HDFS连接。hbase-connector：HBase连接、
据动态流动场景下，可通过数据访问控制、数据脱敏等安全防护措施保障数据全链路、全生命周期安全能力。例如：数据入湖阶段，支持对敏感字段进行脱敏设置，支持对数据源连接进行管控，控制对数据源的访问权限；分析师查询数据时，支持通过动态脱敏策略或字段访问权限来保护敏感数据。 统一数据安全策略
本例中为了方便演示，我们需要通过数据集成将CSV格式的样例数据导入到MySQL数据库中，之后MySQL数据库即作为案例场景中的原始数据源端。因此在数据导入中，需要在MySQL数据库中预先创建原始数据表。 正式业务流程中，MySQL数据库源端数据需要导入OBS数据库作为点数据集和边数据集，这种到OBS的数据
型，再进一步细化设计出逻辑模型，最后设计物理模型。 物理模型：是在逻辑数据模型的基础上，考虑各种具体的技术实现因素，进行数据库体系结构设计，真正实现数据在数据库中的存放，例如：所选的数据仓库是DWS或DLI。 维度建模 维度建模是从分析决策的需求出发构建模型，它主要是为分析需求服
行程记录 > 原始记录”，单击“逆向数据库”，通过逆向数据库，导入原始表。 逆向数据库依赖于数据资产采集，请您确保已对所需逆向的数据库完成数据资产采集。 图25 模型目录 在“逆向数据库”窗口中，配置如下所示参数，然后单击“确定”。在本示例中选择贴源层数据库demo_sdi_db中的原始数据表。
节点和两个Dummy节点，选中连线图标并拖动，编排图1所示的作业。 其中CDM节点的失败策略需要设置为“继续执行下一节点”。 图2 配置CDM节点的失败策略 右键单击连线，选择“设置条件”，在弹出的“编辑EL表达式”文本框中输入IF条件。 每一个条件分支都需要填写IF条件，IF条
若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。
Studio数据目录模块中，您可以查看数据地图，详情请参见数据目录章节。数据地图包含业务资产和技术资产，业务资产就是指逻辑实体和业务对象，技术资产就是指数据连接、数据库对象等。 本章节介绍如何在DataArts Studio数据目录中查看业务资产和技术资产。例如，在技术资产的事实表中，您可以查看数据血缘等
可以提交的版本”怎么办？ 问题描述 DataArts Studio执行调度时报错“作业没有已提交的版本”，请先提交作业版本。 原因分析 该作业还没有提交版本，就开始执行调度，导致执行调度报错。作业执行调度前必须保证作业存在一个版本。 解决方案 提交作业（不是脚本）版本。 执行作业调度。
本章主要描述如何配置审批策略，申请者如何申请权限，以及审批者如何审批权限和回收权限。 在新版本模式下仅当使用企业版时，才支持按字段粒度申请权限，以及设置权限有效期。旧版本模式使用基础版及更高版本时即可支持。 前提条件 权限申请前，已完成空间权限集的配置，请参考配置空间权限集。 权限
CDM迁移作业的抽取并发数应该如何设置？ CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某
能运营平台，帮助企业快速构建数据运营能力。 优势 多种云服务作业编排 全链路数据治理管控 丰富数据引擎支持 支持对接所有华为云的数据湖与数据库云服务，也支持对接企业传统数据仓库，比如Oracle等。 简单易用 图形化编排，即开即用，轻松上手。 图1 一站式数据运营治理平台 云上数据平台快速搭建
脚本（分析10大用户关注最多的产品） 关键参数说明： 数据连接：步骤4中创建的DLI数据连接。 数据库：步骤6中创建的数据库。 资源队列：可使用提供的默认资源队列“default”。 当前由于DLI的“default”队列默认Spark组件版本较低，可能会出现无法支持建表语句执行的报错，这种情况下建议您选择自
、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时，才支持此参数。 type为DLI SQL时，可以通过查看所有数据库接口获取数据库信息。 type为其他类型的时候，需要通过JDBC方式连上集群，查询数据库信息。默认值为空。 queueName 是 String
记录数据迁移入库时间 CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 目的端数据表中已有时间日期字段或时间戳字段。如自
记录数据迁移入库时间 CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 目的端数据表中已有时间日期字段或时间戳字段。如自
Studio数据连接参数。 *数据库 选择数据库。如果您还未创建数据库，可以前往DataArts Studio数据开发控制台进行创建，详情请参见新建数据库。 队列 DLI队列。该参数仅DLI连接类型有效 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。
数据质量监控简介 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行、跨源和跨表的分析。数据质量支持对离线数据的监控，当离线数据发生变化时，数
场景。数据集成支持的功能主要有： 表/文件/整库迁移 支持批量迁移表或者文件，还支持同构/异构数据库之间整库迁移，一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase增量迁移，以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
