检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以对采集到的主机、数据库、存储等信息进行调研评估,为用户上云提供配置推荐和方案设计。 可视化管理 为了让用户对迁移进度一目了然,迁移中心提供一站式工作流管理迁移进度,用户可实时管理和监测整个迁移过程。 数据安全 数据采集 迁移中心为了确保采集数据的安全性,采集数据时只会读取源端
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业
导出作业 本节介绍导出华为云DataArts作业和阿里云DataWorks作业的方法。 导出华为云DataArts作业 登录DataArts Studio控制台。 选择实例,单击“进入控制台”,选择对应工作空间。 单击“数据开发”,进入数据开发页面。 单击作业目录中的,选择“显示复选框”。
导出作业 本节介绍导出华为云DataArts作业和阿里云DataWorks作业的方法。 导出华为云DataArts作业 登录DataArts Studio控制台。 选择实例,单击“进入控制台”,选择对应工作空间。 单击“数据开发”,进入数据开发页面。 单击作业目录中的,选择“显示复选框”。
您可以通过以下两种方式查看迁移进度: 在工作流列表中,单击工作流名称,进入工作流详情页面,可以查看工作流包含的每台主机的迁移进度详情。 当主机迁移进度进行到“全量复制”和“增量同步”步骤时,如图1所示,单击任务详情(即目的端名称),可以直接跳转到SMS控制台的对应迁移任务详情页面,查看迁移进度。 图1 主机迁移阶段
名称(采集凭证所属的应用),单击应用名称,将其加入所选成员中。 单击“选择”,加入成员列表中。 单击“审阅和分配”,进入审阅和分配页签。 确认角色和成员无误后,单击“审阅和分配”,在资源组中对应用完成权限配置。 在页面上方的搜索框中输入“订阅”,选择“订阅”服务,进入订阅页面。
应用是资源分组的概念,将资源关联到应用,后续的评估推荐和迁移工作流都将以应用作为整体进行(可以自由添加和删除资源到应用中)。 已提前创建应用,在“应用”的下拉列表中选择要关联的应用。 未提前创建应用,单击“新建应用”,弹出新建应用窗口,输入自定义的应用名称和描述;根据实际需求,选择业务场景和使用场景;区域选择目的
Metastore连接前,需要先获取连接Hive Metastore的IP地址和端口号。 在创建MaxCompute连接前,需要先获取MaxCompute服务所在地域的Endpoint信息。 在创建Doris连接前,需要先获取Doris集群部署的服务器IP地址和端口。 在创建HBase连接前,需要先获取HBa
Metastore连接前,需要先获取连接Hive Metastore的IP地址和端口号。 在创建MaxCompute连接前,需要先获取MaxCompute服务所在地域的Endpoint信息。 在创建Doris连接前,需要先获取Doris集群部署的服务器IP地址和端口。 在创建HBase连接前,需要先获取HBa
本文主要介绍将阿里云 ClickHouse数据迁移至华为云CloudTable ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC
ClickHouse凭证和目的端MRS ClickHouse凭证,类型选择“大数据-ClickHouse”,认证方式选择“用户名/密码”。凭证的添加方法请参考添加资源凭证。 阿里云EMR ClickHouse的凭证填写登录EMR ClickHouse Server的用户名和密码。您可以在E
Agent的执行,导致迁移工作流执行失败。 不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括: 资源消耗:MgC Agent在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。 端口占用:MgC Agent会占用源端主机上的一些端口,也可能会对源端业务产生影响。
$logDir = "C:\Users\Public\Hosts_Script_Logs" 描述:日志目录路径,用于存放运行日志、错误日志和总结日志的文件夹路径。 参数默认值: C:\Users\Public\Hosts_Script_Logs 修改建议:修改为当前用户具有写入权限的目录路径。
$logDir = "C:\Users\Public\Hosts_Script_Logs" 描述:日志目录路径,用于存放运行日志、错误日志和总结日志的文件夹路径。 参数默认值: C:\Users\Public\Hosts_Script_Logs 修改建议:修改为当前用户具有写入权限的目录路径。
stem.OutOfMemoryException 问题分析 MgC Agent(原Edge)使用WinRM服务连接源端主机,进行脚本传输和执行。出现该问题是因为执行脚本的内存不足,导致迁移失败。 解决方法 检查并调整PowerShell内存配置。 在源端待迁移主机的PowerS
Agent的执行,导致迁移工作流执行失败。 不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括: 资源消耗:MgC Agent在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。 端口占用:MgC Agent会占用源端主机上的一些端口,也可能会对源端业务产生影响。
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql 客户端,进行sql操作
MgC Agent管理 您可以在MgC控制台监控和管理当前项目下,与MgC建立连接的MgC Agent(原Edge)。 前提条件 已在源端安装迁移中心Agent,并与迁移中心连接成功。 查看MgC Agent列表 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的迁移项目。
Hive数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云MRS Hive后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC
MaxCompute迁移至DLI数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云数据湖探索 DLI后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC