检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。
本文主要介绍MRS HBase版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 需要将源端和目的端所有节点的主机名和IP地址映射添加到安装MgC
本文主要介绍MRS Doris版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。
端“大数据-数据湖搜索(DLI)”凭证,认证方式选择“AK/SK”。凭证的添加方法请参考添加资源凭证。 DLI侧的AK/SK获取方法请参考如何获取AK/SK。 MaxCompute侧的AK/SK获取方法请参考查看RAM用户的AccessKey信息。 在MgC控制台左侧导航栏选择“调研
在对Azure云平台对象存储资源进行深度采集时,需要使用“存储账户”和“密钥”作为采集凭证,本节介绍获取Azure“存储账户”和“密钥”的方法。 登录 Azure 门户中转到存储账户。 在左侧导航栏选择“安全性和网络 > 访问密钥” ,即可看到“存储账户名称”和“密钥”。 在“k
分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工具Edge。大数据校验场景仅支持Linux版本的Edge,安装方法请参考下载并安装Linux版本Edge。安装成功后
实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备MgC Agent(原Edge) 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的MgC Agent。大数据校验场景仅支持Linux版本的MgC Agent,安装方法请参考下载并安装Linux版本MgC
PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。 关闭该主机上的杀毒、防护类软件,该类软件会拦截MgC Agent的执行,导致迁移工作流执行失败。 不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括: 资源消耗:MgC
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
采集原理:利用Java语言编写的应用程序,集成对应中间件的SDK(Software Development Kit,软件开发工具包)。通过SDK提供的方法和API,与中间件进行交互,实现数据的采集。 容器采集 权限要求:需要管理员级别权限的账号导出包含必要访问凭证的文件。 采
导出作业 本节介绍导出华为云DataArts作业和阿里云DataWorks作业的方法。 导出华为云DataArts作业 登录DataArts Studio控制台。 选择实例,单击“进入控制台”,选择对应工作空间。 单击“数据开发”,进入数据开发页面。 单击作业目录中的,选择“显示复选框”。
s导出的Excel文件可能存在兼容性问题或格式错误。 解决方案 将RVTools导出的Excel文件在Windows操作系统上的Excel软件中打开。 在Excel中,将原有数据复制并粘贴到一个新的Excel文件中。 保存新创建的Excel文件,确保文件格式为.xlsx或.xls。
在某一步,可能是因为MgC Agent(原Edge)上报结果给MgC的过程中丢失。 解决办法: 方法一:单击工作流名称,在工作流详情页面的主机页签,可以查看每个资源工作流状态。 方法二:请联系技术支持人员帮忙追踪任务是否正常收发。 父主题: 主机迁移工作流
导出作业 本节介绍导出华为云DataArts作业和阿里云DataWorks作业的方法。 导出华为云DataArts作业 登录DataArts Studio控制台。 选择实例,单击“进入控制台”,选择对应工作空间。 单击“数据开发”,进入数据开发页面。 单击作业目录中的,选择“显示复选框”。
目。 在应用列表,单击应用名称,进入应用详情页面。 在资源列表选择要添加的资源类型。以下步骤以关联主机资源为例。其它资源类型的关联方法与主机资源的方法相同。 在主机页签,单击列表上方的“关联资源”按钮,右侧弹出关联资源窗口。 图1 关联资源 勾选需要关联到同一应用的主机资源,单击
卸载Linux版本 本文介绍卸载Linux版本MgC Agent的方法。 操作步骤 执行如下命令,进入MgC Agent安装目录中的scripts目录。 cd /opt/cloud/Edge/scripts/ 执行如下命令,启动MgC Agent卸载脚本。 ./uninstall
管理页面。 在应用列表,单击应用名称,进入应用详情页面。 选择要关联应用的资源类型。以下步骤以关联主机资源为例。其它资源类型的关联方法与主机资源的方法相同。 在主机资源列表,单击列表上方的“关联资源”按钮,右侧弹出关联资源窗口。 勾选需要关联到同一应用的主机资源,单击窗口右下角的
型,根据“偏好设置”选项(价格优先或性能优先)进行排序,依次检索各类型下所有虚拟机规格,选出第一个CPU和内存均不小于源端,且在阈值内的在售规格。如检索完所有规格类型仍未匹配到合适的规格,则会报错提示。如果需要特殊特性和功能(例如内存增强),应通过高级选项进行设置或通过应用场景匹配来获取更准确的推荐。
迁移对源端和目的端有什么要求? 进行存储迁移时,如何选择集群规格? 影响大对象迁移速度的关键因素有哪些? 影响小对象迁移速度的关键因素有哪些? 如何监控和查看影响迁移速度的关键指标? 为什么存储迁移工作流进度长时间没有变化? 将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理?
钥(AK/SK)。获取方法请参考准备工作。 创建应用迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参考项目管理。 创建目的端OBS桶 在华为云创建一个用于存放URL列表文件和接收源端数据的OBS标准存储桶,区域选择您希望迁移到的目的端区域。创建方法请参考创建桶。 如果使