检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
K8S conntrack采集器(app-discovery-k8s-conntrack) 通过conntrack命令采集k8s集群的应用关联拓扑。参数配置说明参见表1。 表1 k8s conntrack采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义
采集项列表 本节为您列出各类型采集方式所包含的采集项以及用途。 网段扫描 主机(含深度采集) 数据库(含深度采集) 容器(含深度采集) 平台(含深度采集) 存储 采集项 说明 作用 ip 主机IP 用于深度采集 port 主机端口 用于深度采集 osType 系统类型 用于深度采集
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 注意事项 创建的源端统计
迁移中心Agent概述 迁移中心Agent (MgC Agent,原Edge)是一款用于配合迁移中心进行源端资源发现与采集的工具,同时MgC Agent还提供了工作流模块,用于配合云端迁移工作流任务。 逻辑架构 MgC Agent作为MgC部署在客户云环境网络边缘的工具,其主要作
MongoDB采集器(app-discovery-mongodb) 采集MongoDB服务信息,获取客户端连接信息。参数配置说明参见表1。 表1 MongoDB采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-mongodb-xxx
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:
自定义参数说明 在创建数据湖探索 DLI校验任务时,支持的自定义参数及说明参见表1。 表1 DLI校验任务支持的自定义参数说明 参数名称 默认值 描述 mgc.mc2dli.table.partition.enable true DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。
自定义参数说明 在创建数据湖探索 DLI校验任务时,支持的自定义参数及说明参见表1。 表1 DLI校验任务支持的自定义参数说明 参数名称 默认值 描述 mgc.mc2dli.table.partition.enable true DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。
内网采集权限与原理 主机深度采集 权限要求: Windows系统:需要提供具有Administrator权限的账号。 Linux系统:需要提供root账号。 采集原理: Windows系统:通过WinRM服务从MgC Agent访问Windows主机,执行PowerShell脚本采集系统信息。
准备工作 CSV文件准备 创建一个包含源端主机信息的CSV文件,确保文件能被访问,并且格式符合要求。格式如下: username,ip,port,password username:该字段表示登录源端主机时所使用的用户名。为了确保脚本具有足够的权限执行修改操作,通常应使用具有管理员权限的用户名,如root。
准备工作 配置PowerShell执行策略 检查执行策略,确保PowerShell允许运行脚本。打开PowerShell,输入以下命令检查当前执行策略: Get-ExecutionPolicy 以下是不同的返回结果说明: Restricted:不允许执行任何脚本。 AllSigned:只能运行由可信发布者签名的脚本。