检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集的性能数据越多,推荐的规格越准确,建议主机性能采集时长不少于7天。 容器资源可以设置“集群类型”、“集群版本”、“容器网络模型”等规格配置,推荐满足规格配置的集群资源。 配置完成后,单击“创建评估”,主机规格评估创建成功。规格评估完成后,可以查看评估推荐结果和主机性能数据,其中目的端规格配置即为该资源的迁移目的端。
输入登录Doris数据库的用户名、密码。 大数据-HBase 用户名/密钥 非安全集群需要上传core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml和hbase-site.xml等5个文件。 安全集群需要上传core-site
Eureka采集器(app-discovery-eureka) 通过Eureka提供的开发API,采集Eureka Server和Eureka Client的相关信息。参数配置说明参见表1。 表1 Eureka采集器参数配置说明 参数 必选 配置说明 output_path 否
csv。 password 否 auth参数值为“1”时,填写Redis访问密码。 mode 是 填写Redis部署模式。 0表示单机 1表示集群 auth 是 Redis认证方式。 0表示无认证 1表示密码认证 port 是 填写Redis端口。 host 是 填写Redis节点IP地址。
将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName) 目标组件类型(TargetComponentType) 上游数据库(SourceDataset) 上游表(SourceTable)
将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName) 目标组件类型(TargetComponentType) 上游数据库(SourceDataset) 上游表(SourceTable)
规格详情和扩展信息列表) ims:images:list(查询镜像列表) evs:types:get(查询云硬盘类型) 存储迁移工作流 Tenant Guest(全部云服务只读权限)(除IAM权限) OMS Administrator(对象存储迁移服务所有权限) 迁移集群 Tenant
规格详情和扩展信息列表) ims:images:list(查询镜像列表) evs:types:get(查询云硬盘类型) 存储迁移工作流 Tenant Guest(全部云服务只读权限)(除IAM权限) OMS Administrator(对象存储迁移服务所有权限) 迁移集群 Tenant
无法签署隐私声明和使用迁移中心 问题描述 进入迁移中心MgC,因无法签署隐私声明,导致无法使用迁移中心。 问题分析 出现该问题可能是因为您登录的账号受限或欠费。 解决方案 请参考什么情况下华为云业务会受限?对账号进行排查和处理。处理完成后,请返回迁移中心重试。 父主题: 产品咨询
选择已创建的Delta-Lake(有元数据)元数据连接。 数据库 填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移中心 Agent(MgC Agent)所安装主机的计算资源。
输入登录Doris数据库的用户名、密码。 大数据-HBase 用户名/密钥 非安全集群需要上传core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml和hbase-site.xml等5个文件。 安全集群需要上传core-site
选择已创建的Delta-Lake(有元数据)元数据连接。 数据库 填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 自定义参数 可
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:全量对比所有数据,适用于需要对比历史数据的场景。
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true:
在创建元数据连接时,如果要使用“采集资源使用信息”功能和查看资源概览,需要为IAM账号的AK/SK添加MRS服务和DLI服务的只读权限(ReadOnly)。 阿里云访问密钥(AK/SK)准备 准备一组源端阿里云账号的Access Key(AK)和Secret Key(SK),获取方法请参考
迁移中心集成了华为云多款云迁移产品,提供一站式的迁移集成能力和统一管理能力,并提供迁移工作流模板,用户可以根据不同迁移场景,简单、快速创建迁移工作流,提升用户云迁移效率。 多源采集 迁移中心支持多种类的资源采集,包括:云平台、主机、数据库、容器、中间件等。并且可以对采集到的主机、数据库、存储等信息进行调研评估,为用户上云提供配置推荐和方案设计。
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true:
为什么不能手动选择主机规格和磁盘类型? 主机未评估时,无法手动选择规格和磁盘类型,进行一次评估后,即可手动选择想要的主机规格和磁盘类型。 父主题: 规格评估
获取方法:在迁移工具Edge所部署主机的“/opt/cloud/Edge/tools/plugins/collectors/bigdata-migration/deltaSpark”路径下获取。 datasource.jar: 用途:包含数据源的配置和连接逻辑,允许服务连接到不同的数据库或数据存储系统。 获取