检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据采集架构 迁移中心(MgC)采集数据的方式主要包括以下两种: 利用Edge远程在线采集 通过调用API在线采集云平台资源 利用Edge远程在线采集 适用于公有云、私有云(如VMware、Hyper-V等虚拟化环境)以及数据中心(IDC)部署,或者以上部署方式的混合场景。迁移中心
服务 > Doris > 实例”,查看任一FE实例的IP地址。 数据库端口 填写连接到源端Doris数据库的连接端口。 数据库连接端口为Doris FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。
果。 Linux主机: 输入如下命令,查询占用端口的应用ID。 netstat -tlnp | grep 27080 例如,查询到的应用ID为11083。 输入如下命令,根据获得的应用ID查询应用进程。此处的应用ID仅为举例,请根据实际查询结果进行替换。 ps -ef | grep
主机迁移工作流错误码处理方法汇总 使用主机迁移工作流时,当出现SMS-Workflow.xxxx类型的报错时,可通过错误码描述和处理方法查询报错原因以及处理方法。 父主题: 主机迁移工作流
可用区迁移错误码处理方法汇总 使用可用区迁移工作流时,当出现AZworkflow.xxxx类型的报错时,可通过错误码描述和处理方法查询报错原因以及处理方法。 父主题: 可用区迁移
动开始资源发现。 您可以在应用发现页面,查看发现的源端资源列表和资源详情。 您可以在任务列表页面,查看发现任务状态和查看任务详情。如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。 发现任务状态为成功后,根据不同资源类型,进行后续操作。
动开始资源发现。 您可以在应用发现页面,查看发现的源端资源列表和资源详情。 您可以在任务列表页面,查看任务状态和查看任务详情。 如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。 发现任务状态为成功后,根据不同资源类型,进行后续操作。
凭证的安全。线上采集的凭证仅在线上环境中保存。 数据租户级隔离存储:线上存储数据按租户隔离,每个租户的数据是独立的,不会被其他租户访问。 数据存储项透明:所有被采集和存储的数据项都是透明的,采集数据项参见采集项列表。 数据分析和呈现 审计日志:所有查询操作都会被记录在后台日志中,有助于确保操作的可追溯性和透明度。
选择迁移工具窗口。在下拉列表中,选择在完成准备工作时与迁移中心连接成功的Edge。 在进行大数据数据迁移时,请确保迁移工具Edge一直处于在线并启用状态。 启用迁移工具Edge后,单击页面右上角的“创建源端连接”按钮,右侧弹出创建连接窗口。 连接类型选择“MaxCompute”,单击“下一步”。
已在源端安装Edge,并与迁移中心连接成功。 查看设备 登录迁移中心管理控制台。 单击左侧导航栏的“迁移工具”,在页面左上角的当前项目下拉列表中选择迁移项目,即可查看当前项目下的所有Edge设备以及设备状态。 设备状态说明参见下表。 表1 设备状态说明 设备状态 说明 在线 Edge与MgC控制台之间一直连接,无断开。
创建大数据组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
创建大数据云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建连接的大数据云服务包括: 数据湖探索(DLI) CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
该工具在删除前进行过对数操作,可以单击“查看”按钮,查看已有数据。 如迁移工具状态为“离线”、“未启用”,代表该工具无法进行对数相关操作,单击“查看”按钮,界面上的所有操作按钮会被禁用。 在进行大数据校验前,请确保迁移工具Edge处于在线并启用状态。 准备执行机 一致性校验需要将
AK/SK验证失败,如何处理? 问题描述 安装Edge并注册成功后,连接迁移中心时,输入AK/SK查询项目,提示AK/SK错误。 问题分析 出现该问题可能的原因有: AK,SK输入错误。 AK,SK被删除或停用。 AK,SK所属账号没有开通编程访问方式。 处理方法 AK,SK输入错误
对象迁移的速度。 建议:优化集群的CPU资源分配,或者增加更多的迁移节点来分散负载。 源端和目的端的QPS限制:源端和目的端的QPS(每秒查询率)限制,可能会成为制约迁移速度的因素。 建议:根据迁移需求调整源端和目的端的QPS限制。 迁移集群的网络带宽使用情况:对于小对象迁移,网
连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线 不可用 所有迁移节点或列举节点不在线 离线 master节点离线,可能是网络中断、ECS删除等原因,请排查Vpcep
vpc:vpcs:list(查询虚拟私有云列表) vpc:subnets:get(查询子网列表或详情) vpc:publicIps:list(查询弹性公网IP) vpc:securityGroups:get(查询安全组列表或详情) eps:enterpriseProjects:list(查看企业项目列表)
iam:projects:listProjects(查询租户项目) eps:enterpriseProjects:list(查看企业项目列表) vpc:subnets:get(查询子网列表或详情) vpc:securityGroups:get(查询安全组列表或详情) vpc:vpcs:get(查询虚拟私有云详情) 创建迁移集群
MgC分为部署在云上的云服务和部署在客户网络中的Edge两个部分。 MgC:部署在云上,主要包含六个业务功能(问卷&TCO对比、在线采集、应用关联分析、在线评估、资源分组、迁移编排),通过基于服务开发服务,基于服务运维服务的方式进行设计。 Edge:部署在客户的网络中,用来保存凭证