检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
逻辑模型 逻辑模型是利用实体及相互之间的关系，准确描述业务规则的实体关系图。逻辑模型要保证业务所需数据结构的正确性及一致性，使用一系列标准的规则将各种对象的特征体现出来，并对各实体之间的关系进行准确定义。 同时，逻辑模型也为构建物理模型提供了有力的参考依据，并支持转换为物理模型，是最终成功设计数据库过程中必不可少的一个阶段
配置MRS Hudi目的端参数 作业中目的连接为MRS Hudi连接时，目的端作业参数如表1所示。 表1 MRS Hudi作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 目的连接名称 选择已配置的MRS Hudi连接。 hudi_to_cdm 数据库名称 输入或选择写入数据的数据库名称
数据目录API概览 表1 数据目录API类型 类型 说明 API流量限制 用户流量限制（次/s） 业务资产接口 业务资产接口 对应类型的所有API共享100次/s的API流量限制 对应类型的所有API共享50次/s的用户流量限制 指标资产接口 指标资产接口 统计资产接口 统计资产接口
DWS SQL 功能 通过DWS SQL节点传递SQL语句到DWS中执行。 DWS SQL算子的具体使用教程，请参见开发一个DWS SQL脚本作业。 背景信息 该节点方便用户在数据开发模块的批处理作业和实时处理作业中执行DWS相关语句，可以使用参数变量为用户的数据仓库进行增量导入，
导入导出 数据架构支持流程、主题、码表、数据标准、关系建模表（物理表）、逻辑实体、维度建模维度/事实表、业务指标、技术指标、数据集市汇总表的导入导出，暂不支持时间限定、审核中心和配置中心数据的导入导出。 本例中以导入和导出关系建模表为例说明如何进行导入导出，其他数据操作类似。如果您想了解其他数据如何导入导出以及使用场景等
购买作业节点调度次数/天增量包 作业节点调度次数/天增量包用于扩充作业节点调度次数/天配额。 不同版本的DataArts Studio实例，默认提供了不同的作业节点调度次数/天规格限制。该规格是以每天执行的数据开发作业、质量作业、对账作业、业务场景和元数据采集作业的调度次数之和计算的
配置HDFS目的端参数 作业中目的连接为HDFS连接时，目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合
入门实践 当您参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例（DataArts Studio企业版）、创建工作空间等一系列操作后，可以根据自身的业务需求使用DataArts Studio提供的一系列常用实践。 表1 常用最佳实践
数据架构概述 模型设计方法概述 根据业务需求抽取信息的主要特征，模拟和抽象出一个能够反映业务信息（对象）之间关联关系的模型，即数据模型。数据模型也是可视化的展现企业内部信息如何组织的蓝图。数据模型应满足三方面要求：能比较真实地模拟业务（场景）；容易被人所理解；便于在IT系统中实现。
新建数据质量规则 数据质量支持对离线数据的监控，质量规则是数据质量的核心。DataArts Studio系统内置的模板规则共计34种，分为库级规则、表级规则、字段级规则和跨字段级规则、跨源级规则等规则类型，如表1所示。 表1 系统内置的规则模板一览表 规则类型 维度 模板名称 适用引擎
数据架构示例 DataArts Studio数据架构以关系建模、维度建模理论支撑，实现规范化、可视化、标准化数据模型开发，定位于数据治理流程设计落地阶段，输出成果用于指导开发人员实践落地数据治理方法论。 本章节操作场景如下： 对MRS Hive数据湖中的出租车出行数据进行数据模型设计
开发Python脚本 数据开发支持对Python脚本进行在线开发、调试和执行，开发完成的脚本可以在作业中调度运行（请参见开发Pipeline作业）。 Python脚本开发的样例教程请参见开发一个Python脚本。 前提条件 已新增Python脚本，请参见新建脚本。 已新建主机连接，
MySQL数据迁移到DWS 操作场景 CDM支持表到表的迁移，本章节以MySQL-->DWS为例，介绍如何通过CDM将表数据迁移到表中。流程如下： 创建CDM集群并绑定EIP 创建MySQL连接 创建DWS连接 创建迁移作业 前提条件 已获取DWS数据库的IP地址、端口、数据库名称
开发Shell脚本 数据开发支持对Shell脚本进行在线开发、调试和执行，开发完成的脚本可以在作业中调度运行（请参见开发Pipeline作业）。 前提条件 已新增Shell脚本，请参见新建脚本。 已新建主机连接，该Linux主机用于执行Shell脚本，请参见主机连接参数说明。 连接主机的用户需要具有主机
通过公网连通网络 本章节主要为您介绍数据库部署在其他云场景下，通过公网打通网络的方案。 图1 网络示意图 约束限制 资源组不具有公网网段，只能通过公网NAT转换成固定的弹性公网IP访问公网，且该IP不能与数据源公网IP重复。 前提条件 已购买资源组，详情请参见购买数据集成资源组。
Flink Jar作业开发指导 本指导提供用户端到端的开发一个Flink Jar作业的整体流程，帮助用户快速的创建一个Flink Jar作业并进行调度。 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio
通过公网连通网络 在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在本地IDC场景下，通过公网打通网络的方案。 图1 网络示意图 约束限制
步骤5：数据架构设计 DataArts Studio数据架构以关系建模、维度建模理论支撑，实现规范化、可视化、标准化数据模型开发，定位于数据治理流程设计落地阶段，输出成果用于指导开发人员实践落地数据治理方法论。 DataArts Studio数据架构建议的数据分层如下： SDI (
开发实时处理单任务MRS Flink Jar作业 前提条件 参见新建作业创建一个实时处理的单任务Flink Jar作业。 配置MRS Flink Jar作业 表1 配置MRS Flink Jar作业属性参数 参数 是否必选 说明 Flink作业名称 是 输入Flink作业名称。 系统支持
功能总览 功能总览 全部 数据集成 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 数据集成 数据集成提供30+同构/异构数据源之间数据集成的功能，帮助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
