检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql 客户端,进行sql操作
MgC Agent管理 您可以在MgC控制台监控和管理当前项目下,与MgC建立连接的MgC Agent(原Edge)。 前提条件 已在源端安装迁移中心Agent,并与迁移中心连接成功。 查看MgC Agent列表 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的迁移项目。
Hive数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云MRS Hive后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC
MaxCompute迁移至DLI数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云数据湖探索 DLI后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC
ClickHouse数据校验 本文主要介绍将阿里云 ClickHouse数据迁移至华为云MRS ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC
添加,方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤6.在MgC Agent侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Hive统计任务并执行,方法请参考创建统计任务并执行校验
在使用sudo用户进行主机迁移时,主机迁移工作流在“校验源端环境”步骤中提示失败。 问题分析 主机迁移工作流在执行环境检测时,会上传一个检测脚本到源端主机,该脚本只有读取和执行权限。如果源端主机已存在该脚本,而sudo用户没有足够的权限去修改或删除旧脚本,这将导致新脚本无法上传,从而使校验步骤失败。 解决方法 使用sudo用户登录源端主机。
failed 'SMS.xxxx' 问题分析 在迁移过程中,源端会和目的端服务器建立一个SSH连接用于传输数据。如果无法成功建立SSH连接,则会导致迁移失败。 解决方法 单击任务详情,进入SMS任务详情页面。 查看具体的报错原因和错误码,并参考以下文档进行处理 SMS.380x SSH连接失败问题汇总
格不小于8U16G。 不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括: 资源消耗:MgC Agent在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。 端口占用:MgC Agent会占用源端主机上的一些端口,也可能会对源端业务产生影响。
钥)。 获取阿里云访问密钥(AccessKey) 添加阿里云凭证时,需要填写源端资源所在的阿里云账号或RAM用户的AccessKey ID和AccessKey Secret。获取方法请参考创建AccessKey。 获取华为云访问密钥(AK/SK) 添加华为云凭证时,需要填写源端资
项目ID:输入与区域对应的项目ID。 集群ID:输入需要校验的数据所在集群ID。 说明: 区域ID和项目ID可以在“我的凭证 > API凭证”查看。 集群ID的获取方法请参考获取MRS集群ID。 在MgC控制台,分别创建源端和目的端 MRS Doris统计任务并执行,方法请参考创建统计任务并执行校验。
项目ID:输入与区域对应的项目ID。 集群ID:输入需要校验的数据所在集群ID。 说明: 区域ID和项目ID可以在“我的凭证 > API凭证”查看。 集群ID的获取方法请参考获取MRS集群ID。 分别创建源端和目的端MRS ClickHouse统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤20
创建应用迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建弹性文件系统 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统。 父主题: SFS1.0迁移至SFS 3.0
主机深度采集成功,部分采集规格信息缺失 问题描述 进行主机深度采集后,在资源详情中查看采集的基本信息和规格信息,发现存在部分信息缺失的情况。 问题分析 出现该问题,可能是在安装MgC Agent(原Edge)主机上的Linux采集脚本时,UNIX换行符格式不正确。正常情况下,Li
盘大小、数量以及分区大小,确保调整后与工作流配置的目的端规格一致。 图1 Linux磁盘分区调整 Linux支持LVM调整,可以选择物理卷和逻辑卷是否迁移以及调整大小。 Linux Btrfs文件系统暂时不支持磁盘分区调整。 Linux系统分区,swap分区是否迁移不可选,默认为“是”,必须进行迁移。
添加,方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤6.在MgC Agent侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校
添加,方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤6.在MgC Agent侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校
Agent在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。 端口占用:MgC Agent会占用源端主机上的一些端口,也可能会对源端业务产生影响。 安装Linux版本的主机要求 可以连接外网,并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名。
log_error "SSH login failed for $user@$ip:$port: No route to host (network unreachable)" elif [[ "$ssh_error" == *"Host key verification
集群管理 在集群创建完成后,您可以根据实际需求随时调整集群内的流量控制规则和节点信息。 前提条件 已完成集群创建。 添加流量控制规则 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 在左侧导航栏选择“资源准备>迁移集群”,进入迁移集群页面。 在集群列