检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据,无法通过数据湖元数据同步方式进
迁移工作流状态一直处于“运行中”,如何判断迁移是否正常? 迁移工作流除了“开始迁移”、“开始同步”两个阶段运行时间比较久以外,其它步骤一般运行不会超过3分钟。如果长时间卡在某一步,可能是因为Edge上报结果给MgC的过程中丢失。 解决办法: 方法一:单击工作流名称,在工作流详情页
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据)
对应参数填写到模板内。 每个模板最多支持导入10,000张表。 同一表组内的表必须属于同一个元数据来源。 模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。 元数据连接为Delta(有元数据)或Hudi(有元数据)连接时,模板中的source_path参数为必填项。
BS中。 云备份(Cloud Backup and Recovery,CBR) 提供对云硬盘、弹性云服务器的备份保护服务。 镜像服务(Image Management Service,IMS 通过镜像创建弹性云服务器。 弹性云服务器(Elastic Cloud Server,ECS)
配置主机迁移方案 主机迁移方案是面向主机迁移工作流进行的一站式配置,能够实现批量评估和配置目的端主机规格。本节介绍为主机迁移配置迁移方案的方法。 准备工作 创建迁移项目。 通过应用发现,完成主机资源的发现与采集。MgC提供了三种主机采集方式,您可以根据实际场景和您源端主机所在的云平台,选择适合的采集方式。
目的端所在区域的项目。 虚拟私有云 若源端IP是192.168.X.X,则推荐创建的VPC网段是192.168.0.0/16,同时创建一个子网,网段也是192.168.0.0/16。 若源端IP是172.16.X.X,则推荐创建的VPC网段是172.16.0.0/12,同时创建一个子网,网段也是172
条件覆盖:对于后续迁移的同名(即使大小写不同)对象,根据以下条件决定是否覆盖。 如果最后修改时间较新,则覆盖前一个同名对象。 如果最后修改时间相同,比较文件大小;如果大小不同,则后一个对象覆盖前一个。 如果最后修改时间和文件大小都相同,则跳过,保留已迁移的对象。 父主题: 存储迁移
GetInstanceList调试,并根据返回的错误码定位问题原因,或联系阿里云技术支持人员。 调用阿里云RDS SDK失败。 请检查所用凭证和所选区域是否正确,或检查凭证所属账号是否开通阿里云RDS服务。 调用阿里云RDS schema SDK失败。 请参考阿里云资源管理产品文档进行API Descri
解决方法 您可以按照以下步骤进行排查和解决: 登录该Windows主机,单击“开始”按钮,然后选择“设置”图标(齿轮形状)。 在设置窗口中,单击“时间和语言”。 在左侧列表击“语言”,进入语言设置页面。 在相关设置中,单击“管理语言设置”,打开区域窗口的管理选项卡。 在“非Unicode
解决方法 您可以按照以下步骤进行排查和解决: 登录该Windows主机,单击“开始”按钮,然后选择“设置”图标(齿轮形状)。 在设置窗口中,单击“时间和语言”。 在左侧列表击“语言”,进入语言设置页面。 在相关设置中,单击“管理语言设置”,打开区域窗口的管理选项卡。 在“非Unicode
表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name 填写DLI委托权限名称。 mgc.mc2dli.data.migration.dli.file
file path: Records detailed information about the script's execution. RUN_LOG="$LOG_DIR/run.log" # Error log file path: Records any errors that
CPU阈值计算规则:基于源端主机的CPU核数,采用向上取整至最接近的2幂次指数。例如:源端主机为3核CPU,阈值计算为4核,因为4是大于3的最小2的幂次;源端主机为4核CPU,阈值则为8核,8是大于4的下一个2的幂次。 内存阈值计算规则:为源端主机内存的1.5倍。例如:源端主机内存为4 GB,则阈值计算为4
关联应用 迁移实施 规格评估 创建迁移工作流 05 实践 弹性云服务器(Elastic Cloud Server)是一种可随时自动获取、计算能力可弹性伸缩的云服务器。 部署web环境 什么是ECS 创建容器应用基本流程 快速创建一个kubernetes集群 3分钟创建一个游戏类容器应用
Mbits/s。 共用带宽建议:若多台机器共用,平均不低于50 Mbit/s。 迁移带宽 重要性:影响数据传输速度和迁移时间。 推荐值与预估时长:详情请参见迁移需要多长时间? CPU和内存要求 内存:至少预留520 MB。 CPU:Linux系统预留不少于0.3核,Windows系统不低于1核。
同一用户同时进行迁移的主机数量上限为1000台,超出此数量的主机会在工作流第一步暂停并处于等待状态,直至有资源释放或主机完成迁移,等待中的主机将按照创建时间顺序依次自动执行工作流后续步骤。 如果您是首次使用MgC的主机迁移工作流,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。
file path: Records detailed information about the script's execution. RUN_LOG="$LOG_DIR/run.log" # Error log file path: Records any errors that
选择源端云厂商。 说明: 当前源端云厂商仅支持AWS和阿里云。 区域 选择源端资源所在区域。 调研方式 “AK/SK”方式,需要选择“凭证”、“对比时间段”和“对比产品”,如未提前添加凭证,请单击“新建凭证”,填写相应参数,校验并保存凭证。 说明: 新建凭证中的AK/SK输入源端账号的AK/SK。