检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查日志目录权限:确保当前用户对日志目录有写入权限。如果权限不足,需要调整目录权限或选择其他路径。 检查源端主机连通性 网络连接检查:确保执行脚本的主机能够通过网络访问所有源端主机。 SSH端口开放检查:确保源端主机的SSH端口(默认是22)已开放,允许从执行脚本的主机通过SSH协议进行连接。
了解迁移过程中可能产生的费用,详情请参见计费说明。 权限配置 使用IAM进行精细的权限管理,详情请参见权限配置。 网络配置及迁移端口 确保源端和目的端的网络连接和端口开放满足迁移要求,详情请参见网络配置及端口开放。 父主题: 阿里云主机迁移至华为云
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务?
大数据迁移概述 迁移场景 将阿里云 MaxCompute数据迁移至华为云数据湖探索(DLI)。 数据迁移原理图 图1 大数据数据迁移原理图 迁移操作流程 图2 大数据数据迁移流程图 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
根据表2,配置参数。 表2 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 IP 选择主机接入IP,可以为公网IP,也可以是私有IP。 端口 主机开放端口。 Windows主机默认为5985端口,无法修改。 Linux主机默认22端口,可根据实际情况修改。 凭证 选择主机凭证。
将编辑并保存好的CSV文件上传至MgC。 企业项目ID(可选) 输入目的端DLI数据库所属的企业项目ID。企业项目ID的获取方法请参考如何获取企业项目ID。 内表转换 选择内表进行迁移时,迁移后的数据会存储在DLI中。 选择外表进行迁移时,迁移后的数据会存储在您指定的OBS路径下。
将编辑并保存好的CSV文件上传至MgC。 企业项目ID(可选) 输入目的端DLI数据库所属的企业项目ID。企业项目ID的获取方法请参考如何获取企业项目ID。 内表转换 选择内表进行迁移时,迁移后的数据会存储在DLI中。 选择外表进行迁移时,迁移后的数据会存储在您指定的OBS路径下。
文件存储批量迁移 本文介绍如何使用迁移中心(MgC)的迁移方案配置功能和文件存储批量迁移模板,以高效完成文件存储的批量迁移工作。 源端支持的类型:NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL、NAS_GFS。 目的端支持的类型:NAS_NFS_V3_MOUNT。
单击任务详情,进入SMS任务详情页面。 查看具体的报错原因和错误码,并参考以下文档进行处理 SMS.380x SSH连接失败问题汇总 SMS.0303 “域名联通失败”该如何处理? 父主题: 主机迁移工作流
影响大对象迁移速度的关键因素有哪些? 在迁移大对象的过程中,迁移集群的以下几个关键因素可能会影响迁移速度: 网络带宽限制:网络带宽不足,可能成为迁移速度的主要制约因素。 建议:升级带宽或选择低峰时段进行迁移。 迁移集群规格:如果迁移集群的规格小于推荐规格(8U16G)可能会因处理能力不足,成为迁移速度的制约因素。
请按照以下步骤,手动启动MgC Agent进程: 执行如下命令,进入MgC Agent安装目录中的scripts目录。 cd /opt/cloud/Edge/scripts/ 执行如下命令,启动MgC Agent。 ./start.sh 当出现如下图所示提示时,表示MgC Agent已经启动。
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据,无法通过数据湖元数据同步方式进
钮,右侧弹出添加主机窗口。 勾选需要迁移的主机,单击“确认”。 同一方案下的待迁移主机,将通过同一工作流迁移,届时将使用同样迁移设置,如VPC、子网、安全组等,请自行确认该方案下主机资源范围。 所选的主机必须都来源于步骤4.基础配置所选的源端平台。 将待迁移的主机添加完后,单击“保存并下一步”,进入准备主机阶段。
钮,右侧弹出添加主机窗口。 勾选需要迁移的主机,单击“确认”。 同一方案下的待迁移主机,将通过同一工作流迁移,届时将使用同样迁移设置,如VPC、子网、安全组等,请自行确认该方案下主机资源范围。 所选的主机必须都来源于步骤4.基础配置所选的源端平台。 将待迁移的主机添加完后,单击“保存并下一步”,进入准备主机阶段。
DeltaLake(有元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake存在元数据,可通过数据湖元数据同步方式进行数据采集。
安装Linux版本 准备工作 建议在源端内网环境中准备一台用于安装MgC Agent的Linux主机,并确保该Linux主机满足以下要求: 可以连接外网,并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名。 安全组的出方向规则中,需要包含8883端口。 操作系统为:CentOS
MaxCompute迁移至MRS Hive数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云MRS Hive后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册
以下步骤以centos8为例。 启动脚本位置 在MgC Agent安装目录下(默认为/opt/cloud/Edge) ./scripts/start.sh,启动脚本。 配置JVM参数 MgC Agent安装目录下(默认为/opt/cloud/Edge),编辑. /tools/SecAs-1.2.29/bin/catalina
以下步骤以centos8,采集器rda-collector-server为例。 启动脚本位置。 MgC Agent安装目录(默认为/opt/cloud/Edge),进入目录. /tools/plugins/collectors/rda-collector-server,其中rda-co
在数据库执行如下命令,找到process权限,确定其是否为 “Y”。 SELECT * FROM mysql.user port 是 填写与MySQL服务器建立连接和进行通信的网络端口。例如:3306 endpoint 是 填写MySQL服务器IP地址。例如:192.168.1.100 表2 pymysql ssl参数说明