检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何获取Linux版本的MgC Agent(原Edge)各种运行日志? 采集失败,提示:The collector is not installed如何处理?
配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config 须知: 一个k8s集群只需要获取一个配置信息。 父主题: 采集器参数配置说明
集群ID的获取方法请参考获取MRS集群ID。 表2 HBase组件参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“HBase-4位随机数(字母和数字)”,也可以自定义名称。
配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的存储路径填写到此处。 cat ~/.kube/config 须知: 一个k8s集群只需要获取一个配置信息。 父主题: 采集器参数配置说明
源端非华为云ECS主机,需要您自行获取重置密码的方法。 如果您不确定用户名是否正确,请联系源端主机的管理员以获取正确的用户名和密码。 确认用户名和密码无误后,更新在MgC Agent上添加的源端主机凭证信息,然后重新进行迁移准备度检查。 父主题: 网络配置
、获取对象元数据) obs:bucket:ListBucket(列举桶内对象) obs:bucket:ListAllMyBuckets(获取桶列表) 父主题: 权限管理
、获取对象元数据) obs:bucket:ListBucket(列举桶内对象) obs:bucket:ListAllMyBuckets(获取桶列表) 父主题: 权限管理
cat ~/.kube/config 须知: 一个k8s集群只需要获取一个配置信息。 父主题: 采集器参数配置说明
大数据迁移概述 迁移场景 将阿里云 MaxCompute数据迁移至华为云数据湖探索(DLI)。 数据迁移原理图 图1 大数据数据迁移原理图 迁移操作流程 图2 大数据数据迁移流程图 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
集群ID的获取方法请参考获取MRS集群ID。 表7 Hudi(有元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Hudi-有元数据-4位随机数(字母和数字)”,也可以自定义名称。 执行机凭证 选择执行机的登录凭证。
如果最后修改时间相同,比较文件大小;如果大小不同,则后一个对象覆盖前一个。 如果最后修改时间和文件大小都相同,则跳过,保留已迁移的对象。 父主题: 存储迁移
创建并运行元数据同步任务 利用元数据连接,创建元数据同步任务,将源端数据库的库、表、字段信息同步至迁移中心。
日级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。支持单日或连续多日增量数据的统计,是最常用的校验方式。 小时级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。
HBase数据校验 DeltaLake(有元数据)迁移至MRS DeltaLake数据校验 DeltaLake(无元数据)迁移至MRS DeltaLake数据校验
项目ID的获取方法请参考获取项目的名称和ID。 队列名称 输入完成准备工作时,创建的SQL队列名称/通用队列名称。 当配置SQL队列连接时,填写SQL队列名称。 当配置通用队列连接时,填写通用队列名称。 创建目的端连接完成后,在连接管理页面,可以查看已创建的连接列表。
集群ID的获取方法请参考获取MRS集群ID。 分别创建源端阿里云EMR ClickHouse和目的端MRS ClickHouse统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤20.创建的表组。
-- ----- ----- 1 Session1 localhost Opened Microsoft.PowerShell 如果配置失败,请参考 PowerShell 帮助文档中的 about_Remote_Troubleshooting 获取解决方案
项目ID的获取方法请参考获取项目的名称和ID。 队列名称 输入完成准备工作时,创建的SQL队列名称/通用队列名称。 当配置SQL队列连接时,填写SQL队列名称。 当配置通用队列连接时,填写通用队列名称。 创建目的端连接完成后,在连接管理页面,可以查看已创建的连接列表。
为确保采集过程具备充分的系统访问权限,从而能够获取到必要的信息和数据。对主机深度采集的凭证要求如下: 对Linux主机进行深度采集时,请添加Root账号和密码作为采集凭证。 对Windows主机进行深度采集时,请添加Administrator账号和密码作为采集凭证。
选择元数据管理,单击创建数据湖元数据同步任务按钮,右侧弹出创建任务-数据湖元数据同步窗口。 图1 创建数据湖元数据同步任务 根据表1,配置数据湖元数据同步任务参数。