检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和实际物理数据的一致）。主数据管理首先进行企业主数据的识别，然后对已识别主数据按照主数据规范要求进行数据治理和IT改造，以支撑企业业务流和工具链的打通和串联。 管理中心 数据治理的开展离不开组织、流程和政策的建设，管理中心也管理着数据治理过程中公共核心的统一数据源、数据驾驶舱等，满足不同角色的用户拥有个性化的工作台。
SDK使用前准备 下载SDK，并导入对应SDK到本地开发工具。 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版 > SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK，下载SDK包到本地。 进行SDK包完整性校验
b="dsfa\;"; --example 1\;example 2. 脚本内容大小不能超过16MB。 使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样，查询结果存到数据库是以YYYY-MM-DD格式，而页面显示查询结果是经过转换后的格式。 Flink SQL作业支持
业务指标监控 业务指标监控是对业务指标数据进行质量管理的有效工具，可以灵活的创建业务指标、业务规则和业务场景，实时、周期性进行调度，满足业务的数据质量监控需求。 数据质量监控 数据质量监控是对数据库里的数据质量进行质量管理的工具，您可以配置数据质量检查规则，在线监控数据准确性。 数据
SQL），ODBC驱动程序和用户界面（Hue中的Impala查询UI）。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具的补充，Impala不会替代基于MapReduce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。
通过数据开发使用参数传递灵活调度CDM作业 通过数据开发实现数据增量迁移 通过CDM节点批量创建分表迁移作业 06 SDK&API DataArts Studio软件开发工具包（SDK）是对DataArts Studio提供的REST API进行的Java，Python等封装，以简化用户的开发工作。 API文档
业务指标监控是对业务指标数据进行质量管理的有效工具，可以灵活的创建业务指标、业务规则和业务场景，实时、周期性进行调度，满足业务的数据质量监控需求。 业务指标监控 数据质量监控 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性
SQL作业 编辑1中创建的Flink SQL作业，在SQL编辑器中输入语句。 图8 编辑Flink SQL作业 SQL语句实现的功能： DIS通过工具上传实时数据至DLI，使用1中创建的“dis-alarm-input”通道。 判断告警级别，当告警级别达到指定值时向用户发送短信通知。 D
约束与限制 浏览器限制 您需要使用支持的浏览器版本登录DataArts Studio。 表1 浏览器兼容性 浏览器版本 建议版本 建议操作系统 备注 Google Chrome 126，125，124 Windows 10 建议分辨率为1920*1080，2560*1440。 Firefox
迁移到MRS Hive3.1 - 数据的迁移周期：天、小时、分钟还是实时迁移 天 - 数据源与目的数据源之间的网络带宽 100MB - 数据源和集成工具之间的网络连通性描述 本示例不涉及 - 数据库类迁移，调研表的个数，最大表的规模 本示例不涉及，本示例需要从OBS文件迁移到数据库 了解数
GBase数据连接参数说明 表1 GBASE数据连接 参数 是否必选 说明 数据连接类型 是 GBASE连接固定选择为GBASE。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。
新建DataArts Studio与MySQL数据库的连接 本章节以新建MySQL连接为例，介绍如何建立DataArts Studio与数据库底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。
tart transaction ... commit事务语法。 脚本内容大小不能超过16MB。 使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样，查询结果存到数据库是以YYYY-MM-DD格式，而页面显示查询结果是经过转换后的格式。 当前用户提交Spark S
Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多HDFS子目录，如果不依赖工具，将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务（CDM）可以轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。
开发一个Python作业 本章节介绍如何在数据开发模块上开发并执行Python作业示例。 环境准备 已开通弹性云服务器，并创建ECS，ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像，并且使用ECS自带
开发一个MRS Flink作业 本章节介绍如何在数据开发模块上进行MRS Flink作业开发。 场景说明 本教程通过开发一个MRS Flink作业来实现统计单词的个数。 前提条件 具有OBS相关路径的访问权限。 已开通MapReduce服务MRS，并创建MRS集群。 数据准备 下
RDS数据连接参数说明 RDS数据连接支持连接MySQL、PostgreSQL、SQL Server等数据库。 表1 RDS数据连接 参数 是否必选 说明 数据连接类型 是 RDS连接固定选择为RDS。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。
MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS
创建DataArts Studio数据连接 通过配置数据源信息，可以建立数据连接。DataArts Studio基于管理中心的数据连接对数据湖底座进行数据开发、治理、服务和运营。 配置开发和生产环境的数据连接后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。
tart transaction ... commit事务语法。 脚本内容大小不能超过16MB。 使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样，查询结果存到数据库是以YYYY-MM-DD格式，而页面显示查询结果是经过转换后的格式。 当前用户提交Spark S
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
