检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
vector %s 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:no more field nodes for for field %s and vector %s 解决方法 基于源端表创建临时表,使用临时表进行数据迁移。 父主题: 大数据数据迁移
对于空文件夹,覆盖策略与文件相同。 迁移元数据 - 选择是否迁移元数据。 勾选,则迁移源端对象元数据。 不勾选,仅迁移Content-Type、Content-Encoding元数据。 清理集群 - 选择工作流是否创建清理集群步骤。 勾选,迁移工作流将自动创建清理集群步骤,您还可以继续配置是否删
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
线下主机迁移上云 主机一站式跨可用区迁移 创建存储迁移工作流 大数据数据迁移 支持多种大数据组件的元数据迁移,元数据增量感知,数据全量及增量迁移。 支持区域: 全部 创建源端连接 创建目的端连接 迁移实施 大数据校验 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Dori
Metastore凭证文件获取方法。 大数据-数据湖搜索(DLI) AK/SK 输入华为云账号的AK/SK。获取方法请参考如何获取AK/SK。 大数据-MaxCompute AK/SK 输入源端阿里云账号的AK/SK。获取方法请参考查看RAM用户的AccessKey信息。 大数据-Doris 用户名/密码
instanceId 集群实例ID 用于规格评估 status 集群状态 用于规格评估 billingMode 付费模式 用于规格评估 creationTime 集群创建时间 用于规格评估 clusterType 集群类型 用于规格评估 clusterSpecs 集群规格 用于规格评估
当您完成数据迁移并且集群不再需要时,可以直接删除闲置的集群以释放资源。 在集群列表,选择需要清理的集群,单击操作列的“更多 > 删除”,弹出删除集群窗口。 选择是否同步删除关联资源后,单击“确认”,删除集群。 重试 对于创建失败的集群,在解决失败原因后,可以尝试重新创建集群。在集群列表中,单击操作列的“更多
installed如何处理? 大数据-Hive Metastore凭证文件获取方法 Edge安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查 新增大数据校验数据连接时,凭证列表数据缺失
(可选)清理集群 当您完成数据迁移并且集群不再需要时,可以直接删除闲置的集群以释放资源。 在左侧导航栏选择“部署>迁移集群”,进入迁移集群页面。 在集群列表,选择需要清理的集群,单击操作列的“更多 > 删除”,弹出删除集群窗口。 选择是否同步删除关联资源后,单击“确认”,删除集群。 父主题:
迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明
aom:ShowMetricsData CCE ReadOnlyAccess AOM ReadOnlyAccess 大数据 MRS mrs:ListClusters mrs:ListHosts MRS ReadOnlyAccess 数据库 DDS dds:ListInstances dds:ListFlavors DDS
如何防止采集数据泄露? MgC通过以下方式确保采集数据的安全: 数据加密传输:采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证:Edge上的凭证信息都会经过加密处理后保存在本地,不会通过网络传输到云端。 本地数据采集与存储:通过Edge线下采集的信息会被安全地保存在本地
MgC利用部署在源端网络中的Edge设备完成数据采集。 数据采集架构图,如图1所示。 图1 Edge远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景,针对不同云服务提供商(友商)的云资源进行数据采集。使用API接口与其它云服务提供商的系统进行交互,实现数据的在线采集。不需要在源端网络中安装Edge设备。
集群管理 在集群创建完成后,您可以根据实际需求随时调整集群内的流量控制规则和节点信息。 前提条件 已完成集群创建。 添加流量控制规则 登录迁移中心管理控制台。在左侧导航栏选择“部署>迁移集群”,进入迁移集群页面。 在集群列表中,单击操作列的“管理”,右侧弹出集群详细信息页面。 在
归档存储(冷存储)数据迁移 背景概述 冷存储是一种针对不频繁访问数据的长期备份解决方案,例如,平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。 在迁移冷存储数据时,一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻结"
和资源评估能力,并且通过向导式的迁移流程,帮助您轻松将应用资源迁移到华为云。 逻辑架构 MgC分为部署在云上的云服务和部署在客户网络中的Edge两个部分。 MgC:部署在云上,主要包含六个业务功能(问卷&TCO对比、在线采集、应用关联分析、在线评估、资源分组、迁移编排),通过基于
Service、ECS等资源情况 升级中 升级集群版本中 升级失败 升级集群版本失败 废弃中 30天内无任务运行,废弃集群中 废弃失败 废弃集群失败 删除中 删除集群中 删除失败 删除集群失败 已废弃 集群已废弃(vpcep删除) 等待创建 等待创建集群资源 安装中 安装master节点中
要检查的域名请查看域名。 安全组的出方向规则中,需要包含8883端口。 操作系统为:CentOS 8.x 推荐规格不小于4U8G。如果使用大数据相关功能,推荐规格不小于8U16G。 不建议将Edge安装在源端待迁移的主机上,主要原因包括: 资源消耗:Edge在采集和迁移运行过程中
“oms_cluster_sg_master_” + 集群id 迁移集群Master节点的安全组,实现与OMS云服务以及迁移集群内部通信。 安全组配置详情请查看Master节点安全组配置。 “oms_cluster_sg_agent_” + 集群id 迁移集群列举节点和迁移节点的安全组,用于迁移集群内部通信。 安全组
选择期望的目的端系统盘规格类型。 数据盘规格偏好(可选) 选择期望的目的端数据盘规格类型。 虚拟机规格调整 选择“按性能负责调整”,需要先完成源端主机性能采集,获取源端主机性能负载数据,再通过设置数据处理规则,推荐满足条件的CPU核数、内存大小。采集的性能数据越多,推荐的规格越准确。 详