检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。
安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。
大数据-HBase 用户名/密钥 非安全集群需要上传core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml和hbase-site.xml等5个文件。
创建集群 迁移集群是专为存储工作流提供协作中的核心组件,通过集群可以创建和管理迁移节点、列举节点,部署和升级迁移插件,确保存储工作流顺利运行。 使用须知 单个账号在每个区域(Region)最多只能创建2个集群。 为了保证迁移的稳定性和数据安全,创建的迁移集群不支持用户自行登录。
大数据-Hive Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager,进入系统页面。 在左侧导航栏,选择“权限>用户”,进入用户页面。 在用户列表,选择要在MgC Agent(原Edge)添加凭证的用户,单击操作列“更多>下载认证凭据
迁移实施 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题: 大数据数据迁移
迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明 父主题: 新版
用于迁移前评估 networkPpsOut 网络PPS(个/秒)网络出包 用于迁移前评估 networkConnections 网络连接数 用于迁移前评估 availableZone 可用区 用于迁移前评估 securityGroupList 安全组 用于迁移前评估 clusterId 大数据集群
(可选)清理集群 当您完成数据迁移并且集群不再需要时,可以直接删除闲置的集群以释放资源。 在左侧导航栏选择“资源准备>迁移集群”,进入迁移集群页面。 在集群列表,选择需要清理的集群,单击操作列的“更多 > 删除”,弹出删除集群窗口。
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题: 大数据校验
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问
准备工作 在使用大数据校验功能前,请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工具
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题: 大数据校验
准备工作 在使用大数据校验功能前,请务必先完成以下必要的准备工作。 创建大数据迁移项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备MgC Agent(原Edge) 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台
元数据全量迁移 将源端数据库中的所有元数据迁移到华为云数据湖探索(DLI) 。 元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择
MaxCompute迁移至DLI数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云数据湖探索 DLI后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装
导出作业 本节介绍导出华为云DataArts作业和阿里云DataWorks作业的方法。 导出华为云DataArts作业 登录DataArts Studio控制台。 选择实例,单击“进入控制台”,选择对应工作空间。 单击“数据开发”,进入数据开发页面。 单击作业目录中的,选择“显示复选框
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
EIP ReadOnlyAccess 容器 CCE cce:ListNodes cce:ListClusters aom:ShowMetricsData CCE ReadOnlyAccess AOM ReadOnlyAccess 大数据 MRS mrs:ListClusters