检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:全量对比所有数据,适用于需要对比历史数据的场景。 日级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。支持单日或连续多日增量数据的统计,是最常用的校验方式。
如果该参数不为空,则环境变量文件在命令执行前将被自动“source” SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。 选择元数
获取阿里云访问密钥(AccessKey) 添加阿里云凭证时,需要填写源端资源所在的阿里云账号或RAM用户的AccessKey ID和AccessKey Secret。获取方法请参考创建AccessKey。 获取华为云访问密钥(AK/SK) 添加华为云凭证时,需要填写源端资源所在华为云账号或IAM用户的访问密钥(AK/SK,Access
如何获取添加Azure凭证所需的信息? 在添加Azure平台资源采集凭证时,需要填写租户ID、客户端(应用)ID、订阅ID以及密钥等信息,本节介绍如何获取这些凭证信息。 获取订阅ID 登录Azure控制台,进入主页。 在搜索框中输入“订阅”,选择“订阅”服务,进入订阅页面。 在订
下的项目。 区域ID 输入需要校验的数据(即目的端数据)所在区域的代码。例如:ap-southeast-1。可以参考终端节点获取不同区域的区域代码信息。 项目ID 输入需要校验的数据所在的项目ID。获取方法请参考获取项目的名称和ID。 队列名称 输入需要进行校验的DLI队列名称。队列类型必须是SQL队列。
区域:选择需要校验的数据所在区域/项目。 项目:选择需要校验的数据所在项目。 集群ID:输入需要校验的数据所在集群ID。 如果所选凭证与登录迁移中心 MgC的账号凭证不同,请手动输入如下参数信息: 区域ID:输入需要校验的数据所在区域ID。例如,区域为“华南-广州”,则输入“cn-south-1” 项目ID:输入与区域对应的项目ID。
启用:配置MySQL作为元数据仓,系统将通过MySQL查询Hive表的分区信息。启用后,需要配置如下参数: 元仓类型:目前仅支持MySQL作为元数据仓。 MySQL凭证:选择访问MySQL数据库的认证信息。认证信息需要添加到Edge然后同步到MgC,方法请参考添加资源凭证。 MySQL节点IP
添加/修改华为云凭证 在使用迁移中心工作流进行迁移时,需要将华为云凭证推送给源端SMS-Agent,如果缺少华为云凭证,迁移工作流无法正常运行。 前提条件 已成功连接迁移中心。 添加华为云凭证 如果在连接迁移中心时,未选择保存华为云凭证,连接成功后,可以按照如下步骤添加华为云凭证。
立即运行:如果需要立即运行迁移任务,可以勾选“保存后立即运行”,然后单击“保存”按钮,会在任务管理列表中生成一条元数据全量迁移任务并自动开始执行迁移。 手动运行:如果需要后续手动启动迁移任务,则只需单击“保存”按钮,在任务管理列表中生成一条元数据全量迁移任务。在需要启动迁移时,单击操作列的“运行”,手动启动迁移。
非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选,在数据库参数框中输入需要增量迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b
准备工作 为了确保迁移过程的顺利进行,需要完成以下必要的准备工作。 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 阿里云访问密钥(AK/SK)准备 检查阿里云迁移账
如何获取Azure对象存储深度采集所需凭证? 在对Azure云平台对象存储资源进行深度采集时,需要使用“存储账户”和“密钥”作为采集凭证,本节介绍获取Azure“存储账户”和“密钥”的方法。 登录 Azure 门户中转到存储账户。 在左侧导航栏选择“安全性和网络 > 访问密钥” ,即可看到“存储账户名称”和“密钥”。
输入登录Doris数据库的用户名、密码。 大数据-HBase 用户名/密钥 非安全集群需要上传core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml和hbase-site.xml等5个文件。 安全集群需要上传core-site.xml,hdfs-site.xml,yarn-site
区域:选择需要校验的数据所在区域/项目。 项目:选择需要校验的数据所在项目。 集群ID:输入需要校验的数据所在集群ID。 如果所选凭证与登录迁移中心 MgC的账号凭证不同,请手动输入如下参数信息: 区域ID:输入需要校验的数据所在区域ID。例如,区域为“华南-广州”,则输入“cn-south-1” 项目ID:输入与区域对应的项目ID。
MetaStore在安全集群下,需要启用安全连接并选择凭证。凭证的获取以及添加方法请参考添加资源凭证中的大数据-Hive Metastore。 Hive版本 选择源端Hive的实际版本。 注意: 如果源端Hive为2.1.1版本,此处需要选择1.x版本。 MetaStore节点IP
击操作列的“更多 > 升级插件版本”,即可将集群插件升级为最新版本。 删除集群 当您完成数据迁移并且集群不再需要时,可以直接删除闲置的集群以释放资源。 在集群列表,选择需要清理的集群,单击操作列的“更多 > 删除”,弹出删除集群窗口。 选择是否同步删除关联资源后,单击“确认”,删除集群。
卸载Windows版本 请根据安装MgC Agent的Windows主机操作系统版本,选择适合的卸载方法。 需要将安装的MgC Agent应用程序和msi安装程序一同卸载。 方法一 在“开始”菜单中,单击“控制面板”,进入控制面板主页。 单击“程序和功能”,部分系统为“卸载程序”,进入卸载或更改程序页面。
区域:选择需要校验的数据所在区域/项目。 项目:选择需要校验的数据所在项目。 集群ID:输入需要校验的数据所在集群ID。 如果所选凭证与登录迁移中心 MgC的账号凭证不同,请手动输入如下参数信息: 区域ID:输入需要校验的数据所在区域ID。例如,区域为“华南-广州”,则输入“cn-south-1” 项目ID:输入与区域对应的项目ID。
单击“立即绑定”,右侧弹出集群选择窗口。 在集群列表中,选择需要使用的集群,单击“确认”。如果需要对集群进行修改,请参考集群管理。 集群配置完成后,单击“确定”,迁移方案创建完成。在迁移方案配置页面的方案列表,可以查看已创建的迁移方案。 如果需要对迁移方案配置进行调整,可以单击操作列的“设计”进行修改。
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数