检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明
选择需要校验的表所在表组。 执行机连接 Hive、Delta Lake和Hudi组件配置参数。 创建源端统计任务时,选择源端执行机连接。 创建目的端统计任务时,选择目的端执行机连接。 DLI连接 数据湖探索(DLI)组件配置参数,创建目的端统计任务。选择创建的目的端DLI连接。 Doris连接 Doris组件配置参数。
调整目的端磁盘分区 使用主机工作流进行迁移时,如果系统检测到目的端主机磁盘进行了缩容,则需要前往主机迁移服务(SMS),对该主机进行“调整磁盘分区”操作。 操作步骤 登录SMS控制台。 在左侧导航树中,单击“迁移服务器”,进入迁移服务器列表页面。 根据MgC主机工作流中的资源名称
上云操作 连接迁移中心 添加/修改华为云凭证
保该Linux主机满足以下要求: 可以连接外网,并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名。 安全组的出方向规则中,需要包含8883端口。 操作系统为:CentOS 8.x 推荐规格不小于4U8G。如果使用大数据相关功能,推荐规格不小于8U16G。
配置Edge插件JVM参数 配置Edge Tomcat服务器JVM参数 配置采集器插件JVM参数 父主题: 最佳实践
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
使用须知 支持的区域 当前支持在以下区域(Region)进行SFS迁移,其它Region请使用线下工具RDA或者咨询其它方案进行迁移。 华北-北京四 华北-乌兰察布一 华南-广州 华东-上海一 华东-上海二 华东-青岛 西南-贵阳一 中国-香港 亚太-新加坡 内网迁移 支持在同一Region内通过内网进行迁移。
资源采集 资源采集常见问题和处理方法 如何查看采集失败原因? 公网采集失败,提示:“网络连接超时”或“其他异常” 数据源采集失败,如何重新采集? 如何获取云平台凭证(AK/SK)? 如何获取添加Azure凭证所需的信息? 如何获取Azure对象存储深度采集所需凭证? 如何配置采集Azure容器资源所需权限?
代运维。 支持区域: 全部 权限管理 创建用户并授权使用MgC 上云成本分析 通过输入源端云平台凭证,可以自动完成源端云厂商消费账单分析,根据源端产品规格及用量自动匹配华为云上的产品及用量,并对比源端云厂商使用费用和华为云使用费用,为您云间迁移提供参考。 支持区域: 全部 创建分析任务
大批量主机同时迁移时,可能出现的异常问题 主机迁移工作流错误码处理方法汇总 VMware主机迁移时,出现报错如何处理? MgC主机工作流资源与SMS迁移服务器列表之间的映射关系 sudo用户进行主机迁移时,主机迁移工作流校验源端环境失败 主机迁移运行到“启动迁移Agent”步骤时报错:System
支持重复上传,不会重复创建同名凭证。 单击“确定”,完成凭证导入。如果连接了迁移中心,导入成功后,系统会自动将凭证同步至迁移中心,并与资源进行绑定。 同步凭证 如果Edge与MgC控制台断开连接,重新连接后,需要手动将凭证同步至迁移中心。在Edge凭证管理界面的凭证区域,单击“同步”按钮即可。
RabbitMQ采集器(app-discovery-rabbitmq) 通过连接到RabbitMQ管理插件,获取RabbitMQ节点列表、版本、队列以及队列中的消费者endpoint等信息。参数配置说明参见表1。 表1 RabbitMQ采集器参数配置信息 参数 必选 配置说明 output_path
明。 费用说明 在创建迁移集群时,会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。具体计费详情请参见ECS按需计费说明或ECS价格计算器。 如果您使用公网迁移时,会产生NAT网关服务费用。计费详情请参见NAT网关计费说明或NAT价格计算器。 启用L
Kafka采集器(app-discovery-kafka) 通过连接到Kafka节点,获取Kafka节点IP、版本、消费者信息等。参数配置说明参见表1。 表1 Kafka采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-kafka-xxx
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Doris”,单击“下一步”。 根据Doris连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Doris连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称
每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。 完成所有表信息的添加后,保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 目的端配置 目的端连接 选择创建的目的端DLI 通用队列连接。 注意: 切勿选择DLI
n.yml edge.plugin-ssl-mode RPC插件是否启用SSL通道特性开关 true :使用SSL通道接收插件连接 false :不使用SSL通道接收插件连接 <安装路径>\Edge\tools\SecAs-1.2.29\webmanagementapps\edge-server-0
性能优先 推荐的目的端规格要求性能最佳。 价格优先 推荐的目的端规格在满足要求的前提下尽量节约成本。 偏好设置 虚拟机类型偏好(可选) 选择期望的目的端主机类型,支持多选。 虚拟机规格族偏好(可选) 根据选择的主机类型,罗列出包含的规格族类型,选择期望的目的端主机规格族,支持多选。 须知: