检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要，数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例，介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。 前提条件 已在数据仓
些账号拥有表和字段的权限，并可回收不必要的表和字段的权限，也可对用户进行批量授权。 仅空间管理员可审计用户权限，包含查看用户列表、回收用户权限、对用户进行授权。 查看拥有表权限的账号和对应的资产列表 选择“数据表权限 > 用户权限”，查看同一工作空间内，已申请表权限的账号。 图3
迁移准备 前提条件 CDH HBase的版本号小于或等于MRS HBase的版本号。 待迁移的表在迁移过程中不能有写入，Split，Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小，用于后续校验。
物理隔离要求较低，能够开箱即用，快速实现API能力开放。 中大型用户。 专享版数据服务拥有物理隔离的独立集群， 更丰富的特性。 满足内部API调用跟API开放，独立的出、入网带宽选择。 数据服务的共享版与专享版在功能上的异同点如下表所示。 表2 共享版与专享版数据服务功能差异 规格分类 规格描述 共享版
统一权限治理提供了对于MRS、DWS、DLI数据湖仓中的库、表、字段的访问权限配置的核心能力，包含如下特性： 集中式访问控制 融合了不同的大数据服务进行统一权限管理，如MRS、DWS、DLI等，给用户带来了统一的权限配置入口，极大的提高了易用性和可维护性。 多级权限配置模型 权限模型分级管
弹性公网IP”，参考通过VPC和EIP快速搭建可访问公网的网络进行配置。 100.x.x.x/32 中转VPC及其子网 用于连通数据源和资源组网络的中间桥梁，本方案中需要使用当前租户下的一个虚拟私有云。若未开通VPC请参考创建虚拟私有云进行配置。 VPC：10.186.0.0/19
Studio实例、访问DataArts Studio实例控制台、管理工作空间、授权用户使用DataArts Studio等一系列准备工作，才能开始DataArts Studio的正式使用。 需要进行的准备工作如下图所示，具体操作请参考后续章节。 图1 DataArts Studio准备工作流程简介
n同租户的VPC即可作为中转VPC。 图2 查看云连接 图3 确定中转VPC VPC：10.186.0.0/19 资源组VPC Migration实时计算资源组所属VPC，由于资源组创建在用户账户下属的资源租户，使用资源租户的VPC网段，因此不占用用户账户的VPC网段。 查看方式：
用于连通数据源和资源组网络的中间桥梁，本方案中需要使用当前租户下与数据源所在租户打通了对等连接的虚拟私有云。 查看方式： 在当前租户下，登录虚拟私有云控制台，在左侧导航栏，选择“虚拟私有云 > 对等连接”，在列表中查找“对端VPC网段”为数据源VPC的对等连接，它的“本端VPC”即可作为中转VPC。 图2
角色实现授权的能力。为使IAM用户权限正常，IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色，另外也必须确保DAYU User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。
当前租户的VPC即可作为中转VPC。 图2 查看企业路由器连接 图3 确定中转VPC VPC：10.186.0.0/19 资源组VPC Migration实时计算资源组所属VPC，由于资源组创建在用户账户下属的资源租户，使用资源租户的VPC网段，因此不占用用户账户的VPC网段。 查看方式：
如果您只给用户配置了工作空间的角色，则会出现无权限的报错。 解决方案 您需要检查IAM用户所在的用户组是否已经在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色。IAM用户的创建和授权系统角色的具体操作如下： 创建用户组并授权系统角色。 使用华为账
如果需要停用/下线/解除授权，则停用/下线/解除授权时间必须选择在发布后的最低保留期限时间之后。选择时间后，停用/下线/解除授权会通知已授权用户。如果所有已授权用户均完成审核中心通知列表消息处理，或在应用中解绑与API的绑定关系，API就会停用/下线/解除授权；否则会以待停用/待下
是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 说明： 多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有defaul
strings 目前批量授权只支持单库下的多表授权，或同一集群下个多库授权，区分这两类可通过 传参中tables是否为空来判断。 schemas 否 Array of strings dws权限涉及 schema，预留字段，在做DWS批量授权时应保持单schema下的批量授权，或者对单库下schema批量授权。
网的网络进行配置。 100.x.x.x/32 中转VPC及其子网 用于连通数据源和资源组网络的中间桥梁，本方案中需要使用当前租户下的一个虚拟私有云。若未开通VPC请参考创建虚拟私有云进行配置。 VPC：10.186.0.0/19 子网：10.186.0.0/24 资源组VPC M
虚拟网关”，在列表中找到连通本地IDC所使用的虚拟网关，单击虚拟网关名称，查看关联的虚拟私有云和本端子网。 图2 查看虚拟网关 VPC：10.186.0.0/19 子网：10.186.0.0/24 资源组VPC Migration实时计算资源组所属VPC，由于资源组创建在用户账户下属的资源租户，使用资源租户的VPC网段，因此不占用用户账户的VPC网段。
华为云数据源所属的VPC，各数据源VPC查看方式不同，具体方法请参考数据源官方文档。 192.168.0.0/24 资源组VPC Migration实时计算资源组所属VPC，由于资源组创建在用户账户下属的资源租户，使用资源租户的VPC网段，因此不占用用户账户的VPC网段。 查看方式： 登录DataArts
选择需要和资源组进行网络打通的虚拟私有云。 本方案中，资源组网段与中转VPC之间通过对等连接连通网络，因此必须选择中转VPC（例如10.186.0.0/19）。 子网 中转VPC的子网（例如10.186.0.0/24）。 路由表 子网实际关联的路由表，绑定资源组时会在此路由表中添加资源组的路由信息。本参数无需配置。
SQL算子的具体使用教程，请参见开发一个DWS SQL脚本作业。 背景信息 该节点方便用户在数据开发模块的批处理作业和实时处理作业中执行DWS相关语句，可以使用参数变量为用户的数据仓库进行增量导入，分区处理等操作。 参数 用户可参考表1，表2和表3配置DWS SQL节点的参数。 表1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
