检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推荐规格不小于4U8G。如果使用大数据相关功能,推荐规格不小于8U16G。 不建议将Edge安装在源端待迁移的主机上,主要原因包括: 资源消耗:Edge在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。 端口占用:Edge会占用源端主机上的一些端口,也可能会对源端业务产生影响。
参数名:jars 参数值:'/opt/apps/DELTALAKE/deltalake-current/spark3-delta/delta-core_2.12-*.jar,/opt/apps/DELTALAKE/deltalake-current/spark3-delta/delta-storage-*
当前源端云厂商仅支持AWS和阿里云。 区域 选择源端资源所在区域。 调研方式 “AK/SK”方式,需要选择“凭证”、“对比时间段”和“对比产品”,如未提前添加凭证,请单击“新建凭证”,填写相应参数,校验并保存凭证。 说明: 新建凭证中的AK/SK输入源端账号的AK/SK。 源端账号拥有只读权限即可。
执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据) Hudi(无元数据)
登录华为云SMS管理控制台,在“迁移Agent”页面下载Windows Agent(Python2)版本的安装包到源端主机。 安装并运行Agent,输入华为云账户的AK、SK,以及SMS域名启动Agent。方法请参考安装Windows版的SMS-Agent。 Agent启动成功后,返回MgC控制台重试迁移任务。
方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机资源。这意味着,一旦完成一次资源采集,如果被采集的主机私有IP发生变更,系统将在下
括: 资源消耗:Edge在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。 端口占用:Edge会占用源端主机上的一些端口,也可能会对源端业务产生影响。 已注册华为账号并开通华为云,并获取账号的AK/SK。 已在MgC控制台创建迁移项目。
括: 资源消耗:Edge在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。 端口占用:Edge会占用源端主机上的一些端口,也可能会对源端业务产生影响。 已注册华为账号并开通华为云,并获取账号的AK/SK。 已在MgC控制台创建迁移项目。
认证方式分别选择“AK/SK”、“用户名/密钥”、“用户名/密码”。凭证的添加方法请参考添加资源凭证。 MaxCompute侧的AK/SK获取方法请参考查看RAM用户的AccessKey信息。 Hive Metastore凭证文件的获取方法请参考大数据-Hive Metastore凭证文件获取方法。
ClickHouse 服务器通信的HTTPS 端口。 可以登录目的端集群的FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,搜索“https_port”参数获取。 分别创建源端和目的端MRS ClickHouse
信息获取。 appID 数据站点类型为腾讯云COS时填写。填写腾讯云APPID。 说明: 您可以在腾讯云控制台账号信息页面查看APPID。 表3 目的端信息参数说明 参数 说明 数据站点类型 选择“华为云OBS”。 AK 输入华为云迁移账号的访问密钥和私有密钥。 SK 桶 选择创建的目的端OBS桶。
方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机资源。这意味着,一旦完成一次资源采集,如果被采集的主机私有IP发生变更,系统将在下
获取租户ID、客户端(应用)ID和密钥 登录Azure控制台,进入主页。 在搜索框中输入“应用注册”,选择“应用注册”服务,进入应用注册页面。 选择所有应用程序页签,单击应用程序名称,进入该应用的概述页面。在概要区域可以获取客户端(应用)ID和租户ID。 在左侧导航树选择“证书和密码”,选择“客
自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 阿里云凭证 选择完成准备工作时,在Edge侧添加的阿里云(AK/SK)凭证。 项目名称 输入待迁移数据所在的MaxCompute项目名称。项目名称可在MaxCompute控制台的项目管理中获取。 Endpoint
Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据) Hudi(无元数据) 大数据云服务 MaxCompute 阿里云云数据库ClickHouse 在创建Hive Metastore连接前,需要先获取连接Hive Metastore的IP地址和端口号。
ClickHouse 服务器通信的HTTPS 端口。 可以登录目的端集群的FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,搜索“https_port”参数获取。 分别创建源端阿里云EMR ClickHouse和目的端MRS Cl
根据实际情况,修改脚本中的以下配置项参数: $logDir = "C:\Users\Public\Hosts_Script_Logs" 描述:日志目录路径,用于存放运行日志、错误日志和总结日志的文件夹路径。 参数默认值: C:\Users\Public\Hosts_Script_Logs 修改建议:修改为当前用户具有写入权限的目录路径。
根据实际情况,修改脚本中的以下配置项参数: $logDir = "C:\Users\Public\Hosts_Script_Logs" 描述:日志目录路径,用于存放运行日志、错误日志和总结日志的文件夹路径。 参数默认值: C:\Users\Public\Hosts_Script_Logs 修改建议:修改为当前用户具有写入权限的目录路径。
lake-current/spark3-delta/delta-core_2.12-*.jar,/opt/apps/DELTALAKE/deltalake-current/spark3-delta/delta-storage-*.jar' 注意: 参数值需要根据实际环境目录和Delta
连接名称 默认创建名称为“DLI-4位随机数(字母和数字)”,也可以自定义名称。 DLI凭证 选择完成准备工作时,在Edge侧添加的华为云(AK/SK)凭证。如果所选凭证与登录迁移中心账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。