检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
机脱敏或字符替换类型的脱敏算法时，可以选择将敏感数据脱敏为样本库文件中的值。 本章主要介绍如何创建样本。 前提条件 已在OBS或HDFS中上传样本文件。样本文件只支持txt格式，大小建议不超过10MB，其中数据可通过换行“\n”、空格“ ”、英文逗号“,”、或分隔符“|”进行分隔。
Gbit/s 64 - 其他场景中，可根据情况选择多个CDM集群同时迁移，加快迁移效率。MRS HDFS多副本策略会占用网络带宽，影响迁移速率。 华为云CDM创建连接 创建2个CDM集群： DataArts Studio实例中已经包含一个CDM集群（试用版除外），如果该集群已经满足需求，您
数据质量：数据质量组件中的质量作业和对账作业功能，不支持对接MRS集群存算分离的场景。 数据源简介 表2 数据源简介 数据源类型 简介 数据仓库服务（DWS） 华为云DWS是基于Shared-nothing分布式架构，具备MPP大规模并行处理引擎，兼容标准ANSI SQL 99和SQL 2003，同时兼
如果Oracle数据库是在本地数据中心或第三方云上，需要确保Oracle可通过公网IP访问，或者已经建立好了企业内部数据中心到华为云的VPN通道或专线。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面，上传了Oracle数据库驱动。 创建CDM集群并绑定EIP 如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为DataArts
则需要使用账号给当前用户添加“查看委托列表”的权限。 先创建自定义策略（查询指定条件下的委托列表），再通过给用户组授予自定义策略来进行精细的访问控制。 登录华为云控制台。 在控制台页面，鼠标移动至右上方的账号名，在下拉列表中选择“统一身份认证”。 在左侧导航窗格中，单击“角色授权”>“创建自定义策略”。
RCFILE, PARQUET, CARBON类型。 如果原始数据表存储格式不满足要求，您可以通过CDM将原始数据直接导入到DLI中进行分析，无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台，参考DLI用户指南中的创建数据库创建数据库。 参考创建OBS表创建OBS外表，包
华为数据治理思考 华为在发展中也遇到了如下的数据问题： 数据管理责任不清晰，造成数据问题无人决策解决； 数据多源头，造成数据不一致，不可信； 数据大量搬家造成IT重复投资； 数据无定义造成难于理解、难于使用； 各部门发布报告，统计口径不一致，困扰业务决策； 数据形态多样化，数据量迅猛增长，数据处理逻辑复杂，投资大；
华为数据治理效果 以财经为例，在数据治理前存在很多问题，如由于IT系统的烟囱式建设，导致一个角色跨多个IT系统操作，效率低；数据获取难，手工处理多，单一个收入管理需要从5个系统导出数据，约11个人总共花费50小时完成分析。 通过数据治理，华为可以做到3天月度财务报告出初稿、5天月
Delete OBS 约束限制 该功能依赖于OBS服务。 功能 通过Delete OBS节点在OBS服务中删除桶和目录。 参数 用户可参考表1和表2配置Delete OBS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“
Studio实例相同的企业项目。 使用OBS控制台创建桶的操作，请参见《对象存储服务控制台指南》中的创建桶。 上传数据到名称为“fast-demo”的OBS桶中。 使用OBS控制台上传文件的操作，请参见《对象存储服务控制台指南》中的上传文件。 本示例中涉及到4张样例数据表，分别
Guest、Server Administrator。 Create OBS、Delete OBS、OBS Manager OBS OperateAccess 查看桶、上传对象、获取对象、删除对象、获取对象ACL等对象基本操作权限 SMN SMN Administrator 消息通知服务的所有执行权限。
应jar包文件的OBS路径，格式为：obs://桶名/文件夹路径名/包名。在选择资源包之前，您需要先将Jar包及其依赖包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考新建资源。 资源类型 是 支持OBS路径和DLI程序包两种类型的资源。 OBS路径：作业执行时，
如果Oracle数据库是在本地数据中心或第三方云上，需要确保Oracle可通过公网IP访问，或者已经建立好了企业内部数据中心到华为云的VPN通道或专线。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面，上传了Oracle数据库驱动。 创建CDM集群并绑定EIP 如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为DataArts
分的集群配置名。 上传集群配置：单击“添加文件”以选择本地的集群配置文件，然后通过操作框右侧的“上传文件”进行上传。 Principal：仅安全模式集群需要填写该参数。Principal即Kerberos安全模式下的用户名，需要与Keytab文件保持一致。 上传Keytab文件：
Studio数据连接 数据集成 通过DataArts Studio平台将源数据上传或者接入到云上。 数据集成提供同构/异构数据源之间批量数据迁移的服务，支持自建和云上的文件系统，以及关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 数据集成 支持的数据源 创建CDM集群 创建CDM与数据源之间的连接
在导入流程时，只有创建或更新操作，不会删除已有的流程。 上传模板 选择所需导入的流程设计文件。 所需导入的流程设计文件，可以通过以下两种方式获得。 下载流程模板并填写模板 在“导入配置”页签内，单击“下载流程模板”下载模板，然后根据业务需求填写好模板中的相关参数并保存后，先添加再上传，完成模板上传。模板参数的详细描述请参见表3。
配置DDS目的端参数 作业中目的连接为DDS连接时，即导入数据到文档数据库服务（DDS）时，目的端作业参数如表1所示。 表1 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 ddsdb 集合名称 选择待导入数据的集合，相当于关系数据库的
配置OpenTSDB目的端参数 作业中目的连接为CloudTable OpenTSDB连接时，目的端作业参数如表1所示。 表1 OpenTSDB作为目的端时的作业参数 参数名 说明 取值样例 指标 可选参数，输入指标名称，或选择OpenTSDB中已存在的指标。 city.temp
单击“启动每日备份”，打开“OBS文件浏览”页面，选择OBS文件夹，设置备份数据的存储位置。 图1 备份管理 每日备份在每日0点开始备份昨日的所有作业、脚本、资源和环境变量，启动当日不会备份昨日的作业、脚本、资源和环境变量。 选择OBS存储路径时，若仅选择至桶名层级，则备份对象自动存储在以“备
图5 创建OBS连接 单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”，开始创建从OBS迁移数据到DLI的任务，如图6所示。 图6 创建OBS到DLI的迁移任务 作业名称：用户自定义作业名称。 源连接名称：选择创建OBS连接中的“obslink”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
