检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark客户端目录 填写Spark客户端的bin目录的绝对路径 环境变量地址 请添加环境变量文件的绝对路径,示例:/opt/bigdata/client/bigdata_env, 如果该参数不为空,则环境变量文件在命令执行前将被自动“source” SQL文件地址 填写用于存放执行作业时生成的
目的端主机磁盘缩容 迁移中心MgC支持目的端主机磁盘缩容功能,允许您根据源端主机磁盘的实际使用量,选择磁盘容量更小、数量更少的目的端主机进行迁移。 使用须知 系统盘容量取值范围为:40 G~1024 G 数据盘容量取值范围为:10 G~32768 G 当前仅支持Linux主机磁盘缩容
安装目录 填写MRS客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。
调整目的端磁盘分区 使用主机工作流进行迁移时,如果系统检测到目的端主机磁盘进行了缩容,则需要前往主机迁移服务(SMS),对该主机进行“调整磁盘分区”操作。 操作步骤 登录SMS控制台。 在左侧导航树中,单击“迁移服务器”,进入迁移服务器列表页面。 根据MgC主机工作流中的资源名称,
步骤四:目的端规格评估 规格评估是根据源端资源规格、性能和应用场景以及特定的成本、可用性、性能、安全合规等需求,为您推荐最合适的华为云对应资源规格,通过规格评估确定迁移目的端。 前提条件 已完成迁移准备度评估,并将资源关联到应用。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中,如果遇到极大值或极小值
如果出现校验任务执行时间过长,页面显示不正确的情况,请把客户端执行机Driver日志级别设为ERROR。 上传日志:如果您需要查看作业的执行日志,可以使用上传日志功能,将日志文件上传到您的对象存储(OBS)桶中,以便随时查看和分析。
其中用户名输入HBase客户端登录用户名,密钥需要上传以下配置文件: 非安全集群(未开启Kerberos认证)需要上传core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml和hbase-site.xml等5个配置文件。
创建文件存储批量迁移工作流 本节介绍如何使用文件存储批量迁移模板,批量创建文件存储数据迁移任务,实现文件存储数据的高效迁移。 约束与限制 关于文件存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 风险提示 在创建工作流时,对于源端和目的端的同名对象,我们提供了三种覆盖策略:不覆盖
配置主机迁移方案 主机迁移方案是面向主机迁移工作流进行的一站式配置,能够实现批量评估和配置目的端主机规格。本节介绍为主机迁移配置迁移方案的方法。 准备工作 创建迁移项目。 通过资源采集,完成主机资源的发现与采集。MgC提供了三种主机采集方式,您可以根据实际场景和您源端主机所在的云平台
评估镜像失败,该规格不支持Windows镜像,如何处理? 问题分析 出现该问题,是因为选择的目的端规格仅支持Linux镜像。 解决方法 重新选择支持Windows镜像的目的端规格。选择目的端规格后,可以在镜像下拉列表中,查看是否有符合的镜像类型。 父主题: 规格评估
MgC.00020122 阿里云创建客户端失败。 请确保所有配置正确后重试。 MgC.00020125 华为云对API进行了限流。 请稍后再尝试请求,以避免API限流。 MgC.00020135 账户权限不足。 请确保您的账户有相应的权限。
Windows主机迁移后数据盘缺失,如何解决? 问题描述 Windows主机迁移完成后,登录目的端主机发现磁盘数量与源端主机不一致,有数据盘缺失,但在目的端控制台查看磁盘数量正常。 问题分析 出现该问题,可能是因为源端主机的磁盘策略为共享磁盘脱机或者离线模式,迁移后会导致数据盘处于脱机状态
购买资源 目的端规格配置完成后,无需切换服务,可以直接在迁移中心批量购买目的端资源。当前仅支持购买主机资源。主机迁移工作流支持自动购买主机资源,通过“购买列表”批量购买资源适用于部分主机需要重新部署的场景。通过购买列表成功购买的主机,将自动绑定为迁移目的端,可以使用主机工作流继续迁移
连接迁移中心 将Edge与云端MgC控制台建立连接,协助MgC控制台进行资源采集和执行迁移工作流任务。 连接成功后,您可以在迁移中心控制台进行以下操作: 创建资源采集任务:通过公网发现源端多种类型资源,支持对主机、容器、对象存储和数据库等资源进行深度采集。 创建主机迁移工作流:进行主机迁移
自定义参数说明 在目的端配置中,支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
存储工作流执行失败,列表提示“COMPARISON_ATTRIBUTE_NOT_SAME”,如何处理? 问题现象 迁移到目的端时,迁移列表报错提示“COMPARISON_ATTRIBUTE_NOT_SAME”。 解决方法 根本原因是元数据校验失败。具体分为两种场景: 场景一: 由于元数据中的
NAS到NAS迁移和割接方案 概述 适用场景:适用于NAS到NAS迁移过程中源端业务持续运行的场景。 目标:通过多次同步方案迁移增量对象数据,减少源端和目的端数据差异,确保数据迁移的准确性和业务连续性。 源端支持的类型:NAS_SMB、NAS_NFS_V3_MOUNT、NAS_NFS_V3
采集主机性能 迁移中心支持对主机资源进行性能数据采集,获取源端主机的CPU、内存负载、磁盘IOPS,内网出入流量,网络出入包速率,网络连接数等性能信息。在后续进行目的端规格评估时,可以根据采集到的源端主机实际性能负载推荐目的端主机CPU核数、内存大小等性能规格。 使用须知 开始采集后