检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脱敏后）进行分析，输出用户和商品的各种数据特征，可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间，您可以学习到数据开发模块脚本编辑、作业编辑、作业调度等功能，以及DLI的SQL基本语法。 本入门示例涉及DataArts Studio服务的管理中心和数据开发模块，DataArts
CDM是否支持同步作业到其他集群？ 解决方案 CDM虽然不支持直接在不同集群间迁移作业，但是通过批量导出、批量导入作业的功能，可以间接实现集群间的作业迁移，方法如下： 将CDM集群1中的所有作业批量导出，将作业的JSON文件保存到本地。 由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用“Add
配置OBS目的端参数 支持使用CSV、CarbonData或二进制格式批量传输大量文件到OBS。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录，目录前面不加“/”。
数据安全管理制度文件 技术工具 数据安全技术体系并非单一产品或平台的构建，而是覆盖数据全生命周期，结合组织自身使用场景的体系建设。依照组织数据安全建设的方针总则，围绕数据全生命周期各阶段的安全要求，建立与制度流程相配套的技术和工具。 图3 数据安全技术体系 其中基础通用技术工具为数据全生命周期的安全提供支撑：
步骤3：数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力，全向导式配置和管理，支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的
系统支持将自定义的规则模板批量导出，一次最多可导出200个规则模板。 系统支持将自定义的规则模板批量导入，一次最大可导入4MB数据的文件。 系统支持批量导出质量作业，一次最多可导出200个质量作业。导出作业时，导出的单元格内容最大长度支持65534个字符。 系统支持批量导入质量作业，一次
输入使用场景说明，选择对应数据连接、数据库和数据表。 选择需要申请的表/列权限。 申请单张表/列权限。 勾选自己当前无权限但需要使用的表权限/列权限。 申请多张表/列权限。 批量选择多张表后，在权限信息页面依次勾选需要使用的表/列权限。 图1 申请表/列权限信息 单击“确定”，系统弹出提交对话框。配置审批人后，单击“确定”。
单击“确定”。 批量调度质量作业 系统支持批量调度质量作业，一次最多可批量调度200个质量作业。 选择“数据质量监控 > 质量作业”，选择要批量调度的质量作业。 单击“更多 > 启动调度”，即可完成质量作业的批量调度。 图13 批量调度 批量停止调度质量作业 系统支持批量停止调度质量
新建主题并发布 手动新建并发布主题。 导入主题设计信息 如果主题信息比较复杂，建议采用导入方式批量导入主题信息。 您可以下载系统提供的主题设计模板，在模板文件中填写主题的相关参数后，使用模板批量导入主题信息。 您可以预先将某个DataArts Studio实例的数据架构中已建立的主题
单击“确定”。 批量调度对账作业 系统支持批量调度对账作业，一次最多可批量调度200个对账作业。 选择“数据质量监控 > 对账作业”，选择要批量调度的对账作业。 单击“更多 > 启动调度”，即可完成对账作业的批量调度。 图8 批量调度 批量停止调度对账作业 系统支持批量停止调度对账作
CDM的作业数据量太多，会造成数据库压力，建议定时清理不需要的作业。 短时间内下发大量作业，可能会导致集群资源耗尽异常等，您调用API时需要注意。 CDM是批量离线迁移工具，不建议客户创建大量小作业场景。 其他组件API更详细的限制请参见具体API的说明。 父主题： 使用前必读
本章节介绍如何在数据开发模块上进行Hive SQL开发。 场景说明 数据开发模块作为一站式大数据开发平台，支持多种大数据工具的开发。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能；可以将SQL语句转换为MapReduce任务进行运行。
完成维度的发布。 企业模式下，进行发布时，可以选择发布到生产环境或开发环境。默认发布到生产环境，不勾选则无法发布。 您也可以执行以下步骤批量发布维度： 在数据架构控制台，单击左侧导航树中的“维度建模”，进入相应页面后，选择“维度”页签。 在维度列表中勾选需要发布的维度，单击列表上方的“发布”。
面向的读者 本文面向的读者包括：企事业各级管理人员、参与数据工作的相关人员、工具平台开发维护的相关人员等。
如何备份CDM作业？ 问题描述 如何备份CDM作业？ 解决方案 用户可以先通过CDM的批量导出功能，把所有作业脚本保存到本地，在需要的时候再重新创建集群、重新导入作业，实现作业备份。 父主题： 数据集成（CDM作业）
作业失败重试：如果作业执行失败，可选择是否自动重新启动作业。 作业分组：CDM支持对作业进行分组，分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。 是否定时执行：可选择作业是否定时自动启动。 抽取并发数：可设置同时执行的抽取任务数。 是否写入脏数据：如果
约”。 相关操作 批量授权应用：您可以在专享版的“开发API > API管理”页面，勾选需要授权应用的API后，依次单击API列表上方的“批量操作 > 批量授权应用”，实现多个API的批量授权应用。 批量授权应用时，不支持同时授权多种认证类型API。 图3 批量操作 父主题： 授权API调用
支持单表、整库及分库分表实时增量数据同步。 单表同步：支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库同步：支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表，一个任务中最多支持200张目标表。 分库分表同步：支持将源端多个实例下多个分库的多张分表同步到目的端一个实例下的单个库表。
数据质量监控简介 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行、跨源和跨表的分析。数据质量支持对离线数据的监控，当离线数据发生变化时，数
数据价值。 数据湖的本质，是由“数据存储架构+数据处理工具”组成的解决方案。 数据存储架构：要有足够的扩展性和可靠性，可以存储海量的任意类型的数据，包括结构化、半结构化和非结构化数据。 数据处理工具，则分为两大类： 第一类工具，聚焦如何把数据“搬到”湖里。包括定义数据源、制定数据同步策略、移动数据、编制数据目录等。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
