检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置存储策略选择“保留源端存储类型”时,源端存储类型与华为云存储类型之间的转换关系参见表1。括号内的数值分别代表:每月每GB容量费用|每万次读取请求费用|每万次写入请求费用|每GB标准取回费用(标准存储类型不涉及)。表中费用数据仅供参考,具体以各云厂商提供的数据为准。 下表中各云厂
MaxCompute迁移至DLI数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云数据湖探索 DLI后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。
创建目的端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”
已创建血缘采集任务,且状态为“已完成”。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域,单击“查看血缘图”,进入血缘图页面。 通过数据库名、表名筛选需要查看的血缘图。如果进行了大数据校验,还可以通过校验批次进行筛选。
sh 无 功能类 getNetCards.sh /Edge/tools/plugins/collectors/rda-collector-server/shell 是 查询网卡信息 sh getNetCards.sh 无 功能类 getNetcardsInfo.sh /Edge/to
阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍将阿里云EMR ClickHouse数据迁移至华为云MRS ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验
MRS ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍MRS ClickHouse版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。
bat,其中rda-collector-server可替换其他采集器的目录,目前包含采集器: 数据库采集器 :rda-collector-database。 容器采集器 :rda-collector-kubernetes。 平台采集器 :rda-collector-platform。 主机采集器
规格评估 规格评估是根据源端资源规格、性能和应用场景以及特定的成本、可用性、性能、安全合规等需求,为您推荐最合适的华为云对应资源规格,通过规格评估确定迁移目的端。 当前支持规格评估的资源类型为:主机、数据库、对象存储、容器、中间件。 已绑定目的端的主机资源,无需进行规格推荐,可直接创建迁移工作流。
MRS HBase迁移至MRS HBase数据校验 本文主要介绍MRS HBase版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。 需
添加资源凭证 凭证是资源采集的唯一认证方式,在进行资源采集前,您需要在Edge上添加源端资源凭证。连接迁移中心后,资源凭证会同步至迁移中心。在Edge上添加的凭证都会加密存储在您本地,同步时密码、密钥等凭证信息并不会上传至迁移中心。 在Edge添加的资源凭证存储有效期为60天,超过60天后,凭证会过期,需要重新添加。
MRS Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校
提供架构图和依赖图来展示应用间的关联关系和应用的组织架构,帮助用户进行迁移分析和方案设计。 支持批量导入/导出资源。 评估推荐 通过采集源端主机、数据库、对象存储等资源信息和应用的关联关系进行评估分析,根据源端资源规格、性能和应用场景以及特定的成本、可用性、性能、安全合规等需求,为您推荐最
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据,无法通过数据湖元数据同步方式进
采集项列表 本节为您列出各类型采集方式所包含的采集项以及用途。 网段扫描 采集项 说明 作用 ip 主机IP 用于深度采集 port 主机端口 用于深度采集 osType 系统类型 用于深度采集 name 主机名称 用于深度采集 主机(含深度采集) 采集项 说明 作用 name 主机名称
指定日期校验 Doris 全量校验 日级增量校验 小时级增量校验 Hbase 全量校验 指定时间校验 ClickHouse 全量校验 阿里云云数据库ClickHouse 全量校验 CloudTable(HBase) 全量校验 指定时间校验 CloudTable(ClickHouse)
访问密钥),该用户无法通过华为云console密码登录,仅支持编程访问。 后续提供创建mgc-user用户时下载的AK/SK给Edge,该AK/SK负责Edge注册到MgC以及迁移过程中的接口调用鉴权。 步骤一:创建用户组 登录华为云IAM管理控制台。 在统一身份认证服务,左侧导
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据)
设置参数。其余参数请根据需求配置。 表1 设置参数 参数 设置 允许的服务 选择至少包含:Blob。 允许的资源类型 选择至少包含:容器和对象。 允许的权限 选择至少包含:读取和列表,如果要迁移归档类对象权限则需要再勾选:写入。 开始和到期日期/时间 需要确保在迁移任务过程中,连接字符串不会失效。 单击“生成SA
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限: