检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
failure_percentage=$(echo "scale=2; ($failure_count / $total_count) * 100" | bc) success_percentage=$(echo "scale=2; ($success_count / $total_count)
入方向规则设置完成后,单击“确定”。 步骤五:搭建大数据数据迁移环境 参考大数据数据迁移的准备工作,完成迁移环境搭建。其中,购买ECS选择在阿里云购买一台ECS实例,要求该ECS实例的私有IP地址能够通过SNAT访问外部网络。MgC Agent安装完成后,使用SNAT的公网IP访问MgC Agent,注册用户并连接迁移中心。
选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。 图1 创建项目 项目类型选择“复杂迁移(大数据迁移)”,输入自定义项目名称,单击“创建”。 图2 创建大数据迁移项目 创建项目完成后,参考连接迁移中心,将MgC Agent与云端MgC控制台建立连接。 连接成功后,需要在MgC Agent上分别添加源端MRS
创建N个Delta元数据连接,除了执行机IP和端口不同以外,其余参数配置需要与步骤1.中的第一个元数据连接保持一致。 “N”需要根据您现有的ECS资源和表的数量来确定。在ECS资源充足且表数量非常多的情况下,增加元数据连接的数量可以提高数据校验的效率。 为避免数据重复,除了步骤1.创建的第一个元数
-k8s-conntrack\config\kube-config\xxx.yaml 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config
进度。当资源的迁移进度完成“启动迁移Agent”这一步后,会自动在SMS控制台的迁移服务器列表创建一条迁移任务,关于MgC和SMS主机资源之间的映射关系请查看MgC主机工作流资源与SMS迁移服务器列表之间的映射关系。 将鼠标移动到主机迁移进度条,在弹窗中可以查看该主机更多迁移信息。
选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。 图1 创建项目 项目类型选择“复杂迁移(大数据迁移)”,输入自定义项目名称,单击“创建”。 图2 创建大数据迁移项目 创建项目完成后,参考连接迁移中心,将MgC Agent与云端MgC控制台建立连接。 连接成功后,需要在MgC Agen
使用API接口与其它云服务提供商的系统进行交互,实现数据的在线采集。不需要在源端网络中安装MgC Agent。 数据采集架构图,如图2所示。 图2 调用API在线采集云平台资源架构图 父主题: 采集安全性说明
Endpoint 输入MaxCompute服务所在地域的Endpoint信息。 各地域Endpoint信息请参考Endpoint对照表。 表2 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“阿里云云数据库Click
16 15:27 test2 -rw-r--r-- 1 root root 5 Aug 16 15:27 test2.log 如果要使黑名单精确匹配以避免迁移"test2.log"文件,则应在黑名单中填写路径:/mgc/filter_test/test2.log 如果文件存储服务地
cn-south-1.myhuaweicloud.com:443 ECS服务 源端需要访问的域名取决于实际的目的端Region,各Region域名可查看终端节点。 例如,目的端为华南-广州,则域名为:https://ecs.cn-south-1.myhuaweicloud.com:443
区域下的项目。 区域/项目 选择需要校验的数据所在区域/项目。 队列名称 输入需要进行校验的DLI队列名称。队列类型必须是SQL队列。 表2 CloudTable(ClickHouse)服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“CloudT
16 15:27 test2 -rw-r--r-- 1 root root 5 Aug 16 15:27 test2.log 如果要使黑名单精确匹配以避免迁移"test2.log"文件,则应在黑名单中填写路径:/mgc/filter_test/test2.log 如果文件存储服务地
Endpoint 输入MaxCompute服务所在地域的Endpoint信息。 各地域Endpoint信息请参考Endpoint对照表。 表2 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“阿里云云数据库Click
跨云成本分析支持哪些云厂商? 目前支持的源端云厂商和资源范围如下表。 源端云厂商 源端资源类型 华为云资源类型 AWS EC2 ECS EBS EVS 阿里云 ECS ECS EBS EVS 部分EBS产品规格,由于计算方式差别较大,源端和华为云都忽略了IOPS以及突发性吞吐相关计费项,只比较容量以及使用时长相关计费项。
如果您要迁移的桶数据可以直接通过浏览器访问,请跳过步骤1,直接进行步骤2.操作。 查看源端桶是否已经设置了访问策略,命令格式如下: s3cmd info s3://<BUCKET-NAME> 如果返回结果中Policy参数值为“none”,代表没有设置桶的访问策略。请执行步骤2。 如果返回结果中Policy参数值
ic01,桶中有2个文件(dragon.png, share2.txt)和1个子文件夹(urlpath),子文件夹中有1个文件(share2.txt)。 如果您希望生成存储桶中所有文件及子文件夹中文件的共享下载链接,过期时间为12小时,输出的结果保存到test2.txt文件中。您可以执行如下命令:
优化。 须知: 使用该功能,需要MgC Agent添加的华为云账号AK/SK拥有MRS服务和DLI服务的只读权限(ReadOnly)。 表2 CloudTable(ClickHouse)服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“CloudT
转换CSV文件编码为UTF-8 导入阿里云主机资源清单仅支持上传UTF-8编码且为中文表头的CSV文件,本节介绍将CSV文件的编码格式修改UTF-8编码的方法。 方法一(适用于Windows操作系统) 选择csv文件,鼠标右键,打开方式选择“记事本”。 在记事本窗口左上角选择“文件
需要做的准备工作,让您对迁移中心的功能和操作有个初步认识。 迁移中心目前还支持跨可用区迁移和存储迁移,创建迁移工作流的操作步骤请参考华为云主机跨可用区迁移、迁移其他云平台存储数据至华为云。 操作流程 操作步骤 说明 准备工作 注册华为账号、开通华为云,并为账户充值。 获取账号迁移权限。