检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果源端可以访问公网,在迁移网络配置选择公网迁移。 图1 公网迁移 如果源端无法访问公网,您需要准备一台可以访问公网的代理服务器并安装代理软件,方法可参考配置代理服务器访问华为云中的步骤1。对该代理服务器的网络要求如下: 该代理机器可以在源端内网,也可以在云上,只需和源端待迁移服务器内网互通即可。
全部配置”,搜索“https_port”参数获取。 在元数据采集区域,单击“创建任务 > 元数据同步”按钮,右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明,配置元数据同步任务参数后,单击“确认”按钮,创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称
供的解冻归档数据功能直接迁移,需要在源端先手动解冻后再迁移。 风险提示 在创建工作流时,对于源端和目的端的同名对象,我们提供了三种覆盖策略:不覆盖、直接覆盖和条件覆盖。选择“不覆盖”策略进行数据迁移时,如果迁移任务因错误中断后重启或从暂停状态恢复,可能会造成部分数据未完全迁移,而
创建目的端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括: 数据湖探索(DLI) CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中,如果遇到
存储为PFS桶时,如果源端对象的元数据包含mtime(修改时间),由于PFS桶中mtime代表最后修改时间,那么当源端对象迁移到目的端后实际修改时间晚于mtime,在这种情况下,系统会报告元数据对比失败,但实际上数据迁移是成功的,您可以前往目的端确认对象是否已成功迁移。 场景二:
主机迁移工作流 迁移工作流状态一直处于“运行中”,如何判断迁移是否正常? 迁移工作流状态为“运行中”,如何查看迁移进度? 迁移工作流步骤执行失败,提示“Edge is not accessible ...”,如何处理? 迁移工作流步骤执行失败,提示“server require to
常见问题 如何启用 PowerShell 远程管理模块 如何启用 WinRM 服务 执行脚本后报错:连接到远程服务器失败,且登录凭证信息正确 父主题: 批量修改与还原源端Windows主机的Host配置
如何查看采集失败原因? 如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。采集失败的数据源,处理完失败原因后,需要删除后通过新增数据源重新采集。 父主题: 资源采集
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服
采集安全性说明 数据采集架构 安全特性 采集项列表 内网采集权限与原理 公网采集权限要求 责任共担
单列表中可以查看导入的数据表。 导出数据表 支持将Delta Lake和Hudi有元数据的数据表导出为CSV格式。无元数据的数据表不支持导出。 在表管理页面,选择库表清单页签。 单击列表上方的“导出 > 导出数据表”按钮,弹出导出窗口。 选择需要导出的数据表所在表组,单击“确认”。
线下主机迁移上云 主机一站式跨可用区迁移 创建存储迁移工作流 大数据数据迁移 支持多种大数据组件的元数据迁移,元数据增量感知,数据全量及增量迁移。 支持区域: 全部 创建源端连接 创建目的端连接 迁移实施 大数据校验 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris
如何迁移XEN规格的主机? 由于华为云使用的XEN虚拟化平台所有版本都停售,因此需要您在迁移前将主机规格从XEN规格变更为KVM规格。XEN规格停售详细介绍请参见XEN实例停止服务说明及常见问题。 迁移准备 检查主机是否为XEN规格 可以在主机的基本信息页面,通过主机规格名称来判
绑定目的端 仅支持主机类型资源绑定目的端。如果您已经在华为云创建了目的端主机,可以将采集的源端主机与目的端主机进行绑定,绑定后, 迁移工作流将使用所绑定的目的端作为迁移的目的端。 绑定目的端的主机,在创建迁移工作流前,无需进行评估推荐。 前提条件 已完成资源采集。 注意事项 绑定的目的端主机有以下要求:
虚拟机规格族偏好(可选) 选择期望的目的端主机规格族。 系统盘规格偏好(可选) 选择期望的目的端系统盘规格类型。 数据盘规格偏好(可选) 选择期望的目的端数据盘规格类型。 虚拟机规格调整 选择“按性能负责调整”,需要先完成源端主机性能采集,获取源端主机性能负载数据,再通过设置数据处理规则,推荐满足
端数据进行修改。并提供了“导入本地文件”与“在线采集”两种采集方式。 数据传输 迁移中心为了确保数据传输安全,采用加密通道(HTTPS、SSH)进行数据传输。 凭证加密 在线采集时,采集凭证会加密存储在MgC服务端。用户也可以通过在源端部署Edge实施采集,采集凭证加密存储在本地Edge。
注册华为账号、开通华为云,并为账户充值。 获取账号迁移权限。 获取目的端账号的AK/SK。 在MgC控制台创建迁移项目 在MgC控制台创建迁移集群。 创建目的端弹性文件系统。 步骤一:创建全量迁移工作流 使用MgC存储迁移工作流完成源端数据的全量迁移。 步骤二:创建增量迁移工作流 在全量迁移
、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据,华为云OBS提供了以下四种存储类型: 标准存储 访问时延低和吞吐量高,因而适用于有大量热点文件(平均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景,例如:大数据、移动应用、热点视频、社交图片等场景。
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法