检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文主要介绍将阿里云EMR ClickHouse数据迁移至华为云MRS ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。 操作步骤 登录迁移中心管理控
升级Windows版本 问题描述 在迁移中心的设备列表中,当设备的版本列出现“可升级”提示时,代表当前安装的Edge并非最新版本,为了不影响功能的正常使用,此时需要您将Edge升级为最新版本。 操作步骤 在安装旧版本Edge的Windows主机,登录迁移中心管理控制台。 在左侧导航栏单击“迁移工具”,进入迁移工具页面。
通信。为确保迁移过程的顺利进行,需要检查源端主机出方向是否有限制,并确保源端主机能够访问迁移过程中依赖的云服务,包括SMS、IAM、ECS、EVS、VPC、IMS等服务的域名。 数据流:数据流涉及从源端到目的端的数据传输。为确保数据流的畅通,需要检查目的端服务器的安全组配置,确保
MaxCompute参数 非必填参数,一般为空。如有需要可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按项目筛选,在数据库参数框中输入项目名即可。如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。 按表筛选
如何配置采集Azure容器资源所需权限? 本节为您介绍使用MgC采集Azure容器资源时所需的必要权限配置方法。在采集Azure容器资源前,需要确保采集凭证所属的应用,在购买AKS资源的资源组和订阅里拥有如下权限: Microsoft.ClassicCompute/virtualMachines/read
如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。处理完失败原因后,需要删除该采集任务,重新导入文件进行采集。 当任务状态为“成功”时,您可以前往应用管理页面,查看应用关联分析结果。 父主题: 复杂项目
当默认域名不能满足您的迁移需求,比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。
使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,获取方法请参见准备工作。 在MgC控制台创建项目。 将源端云平台账号对应的AK/SK添加至MgC,作为采集源端桶的凭证。认证方式选择AK/SK ,添加方法请参考添加资源凭证。 确保源端账号和目的端账号拥有迁移需要的权限
准备工作 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 创建迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建弹性文件系统 在目的端创建相
如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。处理完失败原因后,需要删除该采集任务,重新导入文件进行采集。 当任务状态为“成功”时,您可以前往应用管理页面,查看应用关联分析结果。 父主题: 复杂项目
文件)所保存的路径(如,D:\nodes.csv)。 授权信息列表文件(csv文件)需要您自行创建,在csv文件的第一行(即表头),请按照以下顺序和参数名称填写,并在表头下方的行中,填写每个需要采集的Windows主机的具体参数值。其中IP、USER和PASSWORD为必填参数。
适用于公有云部署场景,针对不同云服务提供商(友商)的云资源进行数据采集。使用API接口与其它云服务提供商的系统进行交互,实现数据的在线采集。不需要在源端网络中安装Edge设备。 数据采集架构图,如图2所示。 图2 调用API在线采集云平台资源架构图 父主题: 采集安全性说明
访问时延低和吞吐量高,因而适用于有大量热点文件(平均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景,例如:大数据、移动应用、热点视频、社交图片等场景。 低频访问存储 适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景,例如:文件同步/共享、企业备份等场景。
默认创建名称为“数据湖元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接 选择已创建的Delta-Lake(有元数据)元数据连接。 数据库 填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多
理功能,帮助用户灵活便捷地对账号下的IAM用户设置不同的MgC资源权限,结合权限策略实现权限隔离。 以下是使用MgC不同功能时,IAM用户需要配置的权限。为IAM用户配置权限的方法请参考创建自定义策略。 功能 权限Action 配置主机购买模板 vpc:vpcs:list(查询虚拟私有云列表)
入门指引 本入门指引为您介绍如何使用迁移中心创建主机迁移工作流,以及前期需要做的准备工作,让您对迁移中心的功能和操作有个初步认识。 迁移中心目前还支持跨可用区迁移和存储迁移,创建迁移工作流的操作步骤请参考华为云主机跨可用区迁移、迁移其他云平台存储数据至华为云。 操作流程图 使用迁
单击“导入数据表”按钮,弹出导入数据表窗口。 根据实际需求,选择已创建的元数据连接类型。 单击“模板下载”,将导入模板下载到本地。打开导入模板,将需要添加的数据表对应参数填写到模板内。 每个模板最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。 元数据连接为Delta(
主机迁移权限配置 概述 创建一个新的用户组migration_users,赋予MgC和SMS所需要的最小权限,后续使用的AK/SK权限以此为准。 用户通过属于admin组的用户,创建属于migration_users组的、仅支持编程访问的用户mgc-user(同时勾选访问密钥,在
制他们对MgC资源的使用范围。 如果账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用MgC服务的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见《IAM产品介绍》。
目的端规格配置完成后,无需切换服务,可以直接在迁移中心批量购买目的端资源。当前仅支持购买主机资源。主机迁移工作流支持自动购买主机资源,通过“购买列表”批量购买资源适用于部分主机需要重新部署的场景。通过购买列表成功购买的主机,将自动绑定为迁移目的端,可以使用主机工作流继续迁移。 前提条件 已对源端资源完成规格评估。 操作步骤