检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建存储迁移工作流 大数据数据迁移 支持多种大数据组件的元数据迁移,元数据增量感知,数据全量及增量迁移。 支持区域: 全部 创建源端连接 创建目的端连接 迁移实施 大数据校验 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验
可用区(AZ)迁移有哪些注意事项? 密码一致性 如果源端Windows主机安装了 Cloudbase-Init 插件,会导致新下发的主机生成随机密码,从而与源端密码不一致,因此迁移前需要将 Cloudbase-Init 插件卸载。 账号余额 由于AZ迁移需要进行创建存储库、服务器
务执行结果进行过滤,如有过滤,则只导出过滤后的数据。 图1 导出执行结果 单击“导出管理”按钮,右侧弹出导出管理窗口。 当导出进度为导出成功后,单击操作列的“下载”,可以将导出结果下载到本地。 图2 下载导出结果 父主题: 大数据数据迁移
Spark应用的Driver内存,参数配置例如:2G, 2048M。该配置项会替换“sc_type”中对应的默认参数,使用时必须带单位,否则会启动失败。 父主题: 大数据数据迁移
服务器外挂存储 不支持迁移服务器挂载的外部存储。 目的端服务器密码 Linux主机迁移后目的端密码与源端服务器保持一致。 Windows主机迁移后目的端密码无法保证与源端服务器一致,详情请参考AZ迁移注意事项。 存储迁移约束与限制 使用迁移中心进行存储迁移的约束与限制参见表3和表4。 表3
迁移实施 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题: 大数据数据迁移
clusterId 大数据集群ID 用于迁移前评估 chargeMode 付费模式 用于迁移前评估 assessStatus 主机TCO评估状态 用于迁移前评估 nodeType 大数据节点类型 用于迁移前评估 采集项 说明 作用 id ID 用于迁移前评估 name 数据库名称 用于迁移前评估
Agent的主机时间设置与当地标准时间不一致 在安装MgC Agent的Windows主机上,打开“日期和时间”设置。 在“日期和时间”设置界面,开启“自动设置时间”,然后单击“同步”按钮,触发一次时间同步。 确保时区和时间设置正确,与当地标准时间一致后,返回MgC Agent控制台,重新尝试查询MgC迁移项目。
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行
在“非Unicode 程序的语言”框中,单击“更改系统区域设置”,弹出区域设置窗口。 查看当前系统区域设置与当前语言是否一致。如果不一致,在下拉列表中选择与当前语言一致的地区,单击“确定”。 更改完成,请重启计算机,并确认设置是否生效。 父主题: 资源采集
在“非Unicode 程序的语言”框中,单击“更改系统区域设置”,弹出区域设置窗口。 查看当前系统区域设置与当前语言是否一致。如果不一致,在下拉列表中选择与当前语言一致的地区,单击“确定”。 更改完成,请重启计算机,并确认设置是否生效。 父主题: 资源采集
Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
创建迁移任务 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
vector %s 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:no more field nodes for for field %s and vector %s 解决方法 基于源端表创建临时表,使用临时表进行数据迁移。 父主题: 大数据数据迁移
COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite
际使用的镜像版本与预选的镜像版本不一致(如选择的是CentOS6,但实际使用的是CentOS7),虽然在VMware上可以正常运行,但在迁移过程中,这种版本差异可能会导致兼容性问题,从而引发错误。建议您在安装VMware时使用与预选的镜像版本一致的镜像。 父主题: 主机迁移工作流
覆盖目的端文件夹; 说明: 对于空文件夹,覆盖策略与文件相同。 迁移元数据 - 选择是否迁移元数据。 勾选,则迁移源端对象元数据。 不勾选,仅迁移Content-Type、Content-Encoding元数据。 (可选)根据表2,配置高级选项。 表2 高级选项参数说明 参数 说明
覆盖目的端文件夹; 说明: 对于空文件夹,覆盖策略与文件相同。 迁移元数据 - 选择是否迁移元数据。 勾选,则迁移源端对象元数据。 不勾选,仅迁移Content-Type、Content-Encoding元数据。 (可选)根据表2,配置高级选项。 表2 高级选项参数说明 参数 说明