检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集主机资源 在线调研 内网采集 手动添加
jinfo PID PID 为 之前获取到的Agent程序pid,在命令提示符返回的内容中,可查看生效的JVM参数。 图2 命令提示符 Linux系统 以下步骤以centos8,采集器rda-collector-server为例。 启动脚本位置。 MgC Agent安装目录(默认为
据时只会读取源端数据,不会对源端数据进行修改。并提供了“导入本地文件”与“在线采集”两种采集方式。 数据传输 迁移中心为了确保数据传输安全,采用加密通道(HTTPS、SSH)进行数据传输。 凭证加密 在线采集时,采集凭证会加密存储在MgC服务端。用户也可以通过在源端部署MgC A
Agent(MgC Agent)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云
tion-proxy-start开始,以#Migration-proxy-end结束。相关云服务的接口域名映射需要根据具体的环境而定,请联系对应局点的环境接口人获取。 示例: #Migration-proxy-start xxx.xxx.xxx.xxx iam.xxx.com xxx
资源采集 在线调研 内网采集 导入RVTools资源 导入阿里云资源清单 导入应用关联文件 导入工具采集结果 手动添加资源 采集主机性能 关联应用 父主题: 新版
所属源 选择目的端。 连接名称 默认创建名称为“Doris-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择在源端环境中安装的MgC Agent(原Edge)。 Doris凭证 选择在MgC Agent添加的目的端Doris凭证。凭证的添加方式请参考添加资
默认值10,1≤取值范围≤20,取整数。 设置“服务器”区域参数,具体参数说明参见表2。 表2 设置服务器参数 参数 说明 CPU总核数 环境中需要迁移的服务器CPU数量。默认值1000个,1≤取值范围≤99,999,999。 高性能CPU比例 如数据库、流媒体、消息服务器、推理
华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。
Lake到MRS Delta Lake数据校验任务存在以下约束与限制: 源端EMR环境的Spark版本为3.3.1时,支持Delta Lake(有元数据)和Delta Lake(无元数据)的数据校验。 源端EMR环境的Spark版本为2.4.8时,仅支持Delta Lake(有元数据)的数据校验。
例如: 单个IP地址:192.168.10.10/32 IP地址段:192.168.52.0/24 所有IP地址:0.0.0.0/0 Linux主机 用户名/密码 用户名/密钥 选择用户名和密码时,输入源端主机的登录用户名、密码。 选择用户名和密钥时,输入源端主机登录用户名、口令(密钥文件对应的密码)、上传
gC Agent所在主机的公网IP,端口选择全部。 入方向规则设置完成后,单击“确定”。 步骤五:搭建大数据数据迁移环境 参考大数据数据迁移的准备工作,完成迁移环境搭建。其中,购买ECS选择在阿里云购买一台ECS实例,要求该ECS实例的私有IP地址能够通过SNAT访问外部网络。MgC
Lake到MRS Delta Lake数据校验任务存在以下约束与限制: 源端EMR环境的Spark版本为3.3.1时,支持Delta Lake(有元数据)和Delta Lake(无元数据)的数据校验。 源端EMR环境的Spark版本为2.4.8时,仅支持Delta Lake(有元数据)的数据校验。
CDH执行机只支持源端,MRS执行机支持源端和目的端。 连接名称 默认创建名称为“执行机类型-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择在源端环境中安装的MgC Agent(原Edge)。 执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP
Lake到MRS Delta Lake数据校验任务存在以下约束与限制: 源端EMR环境的Spark版本为3.3.1时,支持Delta Lake(有元数据)和Delta Lake(无元数据)的数据校验。 源端EMR环境的Spark版本为2.4.8时,仅支持Delta Lake(有元数据)的数据校验。
代理服务器的安全组设置,确保对源端IP开放了代理端口。 MgC通用主机迁移网络场景 MgC当前不支持完全无公网的迁移场景。 在与源端互通的内网环境中安装MgC Agent(原Edge)。安装方法和要求请参考安装Windows版本的MgC Agent。 参考MgC的线下主机迁移上云最佳实践,完成步骤二至步骤五的操作。
请联系技术支持人员或提交工单。 OBS文件不存在或已过期。 重新上传文件,或重命名文件后再上传。 MQ Sheet中生产者和消费者环境不一致。 请检查导入文件MQ Sheet中生产者和消费者环境是否一致。 MQ Sheet中生产者和消费者服务或微服务在Application Sheet中不存在。 请在导入文件的Application
MaxCompute数据迁移至华为云 数据湖探索(DLI)。 创建大数据校验任务:对大数据进行一致性校验。 约束与限制 单个账号允许同时在线的MgC Agent总数最多为100个。 单个MgC项目中,与MgC连接的MgC Agent数量(不区分状态)最多为5个。 前提条件 已下
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 选择“在线调研”页签,单击“云平台采集”,进入云平台采集参数配置页面。 图1 云平台采集 根据表1,配置公网发现任务参数。 表1 公网发现任务参数说明
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 选择“在线调研”页签,单击“云平台采集”,进入云平台采集参数配置页面。 图1 云平台采集 根据表1,完成基础配置和任务配置区域的参数配置。 表1 基础配置和任务配置区域参数配置说明