检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建并运行元数据同步任务 利用元数据连接,创建元数据同步任务,将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接
版本和依赖项要求 PowerShell 远程处理依赖于 Windows 远程管理 (WinRM),由 Windows Management Framework (WMF) 提供。 在 PowerShell 上运行远程会话,本地计算机和远程计算机必须满足以下要求: Windows PowerShell
exclude_ip 否 填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127.0.0.1,192.168.1.1 import 是 填写general-log日志所在路径,例如:C:\data\logs MySQL-General_log开启方法如下: 在my
MgC:部署在云上,主要包含六个业务功能(问卷&TCO对比、在线采集、应用关联分析、在线评估、资源分组、迁移编排),通过基于服务开发服务,基于服务运维服务的方式进行设计。 MgC Agent:部署在客户的网络中,用来保存凭证等敏感资源和操作租户本地部署的资源。可以接收MgC的命令和上报命令执行结果。
转换CSV文件编码为UTF-8 导入阿里云主机资源清单仅支持上传UTF-8编码且为中文表头的CSV文件,本节介绍将CSV文件的编码格式修改UTF-8编码的方法。 方法一(适用于Windows操作系统) 选择csv文件,鼠标右键,打开方式选择“记事本”。 在记事本窗口左上角选择“文件
安装MgC Agent(原Edge)的主机有哪些要求? 安装Windows版本的主机要求如下: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。
创建Master节点、迁移节点和列举节点会产生ECS服务费用。具体计费详情请参见ECS按需计费说明或ECS价格计算器。 如果您使用公网迁移时,会产生NAT网关服务费用。计费详情请参见NAT网关计费说明或NAT价格计算器。 启用LTS服务时,会产生LTS服务费用。具体计费详情请参见LTS计费说明或LTS价格计算器。
(Secure Shell) - 远程登录协议,用于安全登录文件传输(SCP,SFTP)及采集脚本执行 是 口令认证 SSL NA 主机 目的主机IP 5985 TCP winrm远程连接端口,用于远程执行采集脚本 否 口令认证 HTTPS 8080 平台 目的主机IP 443 TCP vmw
择消息发送语言;选择发送消息的触发条件,支持同时勾选。 流量控制 设置迁移任务在指定时段的最大流量带宽。 不勾选,不进行流量控制。 勾选,进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。 例如:设置开始时间08:00、结束时间12:00、限速为20 MB/s,当迁
择消息发送语言;选择发送消息的触发条件,支持同时勾选。 流量控制 设置迁移任务在指定时段的最大流量带宽。 不勾选,不进行流量控制。 勾选,进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。 例如:设置开始时间08:00、结束时间12:00、限速为20 MB/s,当迁
择消息发送语言;选择发送消息的触发条件,支持同时勾选。 流量控制 设置迁移任务在指定时段的最大流量带宽。 不勾选,不进行流量控制。 勾选,进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。 例如:设置开始时间08:00、结束时间12:00、限速为20 MB/s,当迁
配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config
择消息发送语言;选择发送消息的触发条件,支持同时勾选。 流量控制 设置迁移任务在指定时段的最大流量带宽。 不勾选,不进行流量控制。 勾选,进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。 例如:设置开始时间08:00、结束时间12:00、限速为20 MB/s,当迁
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:
配置MgC Agent(原Edge)插件JVM参数 配置Edge Tomcat服务器JVM参数 配置采集器插件JVM参数 父主题: 最佳实践
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。
将编辑并保存好的CSV文件上传至MgC。 目的端配置 目的端连接 选择创建的目的端DLI SQL队列连接。 注意: 切勿选择通用队列。 自定义参数(可选) 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 迁移选项 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。
当您迁移Linux主机时,需要确保源端主机能够识别并解析相关云服务的接口域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多,手动编辑将非常耗时。为了简化这一过程,我们提供了一个批量修改的脚本示例。您可以利用这个脚本,快速地将域名解析IP批量推送到所有源端主机的hosts文件中。
将编辑并保存好的CSV文件上传至MgC。 目的端配置 目的端连接 选择创建的目的端DLI SQL队列连接。 注意: 切勿选择通用队列。 自定义参数(可选) 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 迁移选项 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。