检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进行大数据数据迁移时,部分表迁移失败,报错:no more field nodes for for field %s and vector %s 解决方法 基于源端表创建临时表,使用临时表进行数据迁移。 父主题: 大数据数据迁移
如果源端Windows主机安装了 Cloudbase-Init 插件,会导致新下发的主机生成随机密码,从而与源端密码不一致,因此迁移前需要将 Cloudbase-Init 插件卸载。 账号余额 由于AZ迁移需要进行创建存储库、服务器云备份、整机镜像、按需创建目的端等操作,因此迁移时需要确保账号余额充足。 父主题:
根据实际需求,选择节点的ECS规格,并输入需要增加的节点数量,节点数量需要同时满足如下要求: 迁移节点数+列举节点数+1 ≤100 迁移节点数+列举节点数+1 ≤子网可用IP数 单击“确认”,节点新增完成,系统开始为迁移节点安装迁移插件。添加完成后,可以在节点列表中看到新添加的节点信息。 父主题:
在集群创建完成后,您可以根据实际需求随时调整集群内的流量控制规则和节点信息。 前提条件 已完成集群创建。 添加流量控制规则 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 在左侧导航栏选择“资源准备>迁移集群”,进入迁移集群页面。 在集群列表中,单击操作列的“管理”,右侧弹出集群详细信息页面。
问题分析 出现该问题,可能的原因如下: 主机规格不足:安装MgC Agent(原Edge)的主机规格小于推荐的最小规格4U8G。因资源不足导致采集器无法正常运行。 采集器离线:主机规格满足要求但采集器未运行。 解决方法 主机规格不足 请升级主机规格或选择满足规格要求的主机重新安装MgC Agent并采集。
failed 'SMS.xxxx' 问题分析 在迁移过程中,源端会和目的端服务器建立一个SSH连接用于传输数据。如果无法成功建立SSH连接,则会导致迁移失败。 解决方法 单击任务详情,进入SMS任务详情页面。 查看具体的报错原因和错误码,并参考以下文档进行处理 SMS.380x SSH连接失败问题汇总
在源端详情区域,根据实际情况,选择源端平台和源端类型,并输入源端文件个数、总文件大小。 在目的端详情区域,选择目的端区域和目的端类型。 在高级特性选择网络模式、偏好设置,并输入期望迁移时间。 配置完以上参数后,单击“创建评估”按钮。系统会根据配置参数,并给出不同的迁移方案。 父主题: 上云调研
端文件数量和大小、设定期望迁移时长等参数,系统会自动计算迁移所需的集群规格、网络带宽和迁移成本,并给出不同的迁移方案,用户可以根据项目需求和预算选择合适的迁移策略。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。 单击左侧导航栏“调研评估>上云调研”,进入“上云调研”页面。
本节介绍使用跨云成本分析功能进行成本分析后,产品映射列表中所展示的价格计算说明。 资源总用量 显示该资源在账单区间内(即所选对比时间段内)的使用时长/使用容量,与账单中的用量保持一致。 不会体现该资源在账单区间内使用的具体时间节点。 根据产品类型单位分为小时或者GB。 计算产品类型计费模式为包月时,会转化为720小时。
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql
使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 创建应用迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建弹性文件系统 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统。
配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql
数据中心PUE 评价数据中心能源效率的指标,为数据中心能耗的所有能源与IT负载使用的能源之比。 默认值1.4,1<取值范围<10。 CAPEX与OPEX比例 数据中心投资成本与运营成本的比例。 默认值34%,1<取值范围<1000。 成本计算方式 根据需求选择不同的成本计算方式,以有效实现有效成本管理和控制。
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务? 创建HBase目的端连接安全集群下的换包操作指南 MRS 3.1.0版本普通集群使用YARN模式的换包操作指南
设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限: o
跨可用区(AZ)迁移,在迁移过程中会生成源端服务器的整机镜像,可能会产生一定的费用。 有关镜像服务的费用说明,请参见IMS计费说明。 目的端服务器费用 跨可用区(AZ)迁移,不支持已有目的端的迁移方式,同时会按需创建目的端,待业务割接后,用户可自行将目的端切换为包周期的方式。 有关按需云服务器的收费标准,请参见ECS按需计费说明。
迁移方案设计 绑定目的端 规格评估 购买资源 迁移风险评估 父主题: 新版
迁移方案设计 绑定目的端 规格评估 购买资源 迁移风险评估 父主题: 旧版
单击应用框中的“新建应用”按钮,弹出新建应用窗口。 输入自定义的应用名称和描述;选择业务场景和使用场景;目的端区域选择目的端所在区域,单击“创建应用”按钮,应用创建成功,进入关联资源页面。 如果已经进行过资源采集,并且需要将采集到的资源关联到创建的应用,请勾选需要关联到应用的资源,单击“关联到应用”按钮,完成应用创建和资源关联。
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 新版