检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集原理:利用kspider工具进行数据采集。 vCenter采集 权限要求:需要管理员账号,该账号应具备对vCenter环境中所有虚拟机的完全访问权限。 采集原理:通过VSphere SDK提供的资源枚举能力,采集到资源的列表及详细数据。 父主题: 采集安全性说明
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据,无法通过数据湖元数据同步方式进
通过对象名称或者名称前缀过滤迁移,只迁移与对象名称或名称前缀一致的对象。 在待迁移桶列表中,单击操作列的“修改”,弹出修改迁移设置窗口。 选择源端凭证,输入对象个数和容量(可选),单击“确认”,完成桶的迁移设置。 如果桶的迁移方式为“列表迁移”,需要在列表路径中输入列表文件的存放路径并以“/”结尾。 如果桶
出安装的Edge相关软件,单击软件名称,鼠标右键选择“卸载/更改”,即可将软件卸载。 方法二 使用快捷键【win+i】打开“Windows设置”,单击“应用”,进入应用与功能页面。 在搜索框中输入“Edge”,筛选出安装的Edge相关软件,单击软件名称,再单击右下角的“卸载”,即可将软件卸载。
择消息发送语言;选择发送消息的触发条件,支持同时勾选。 流量控制 设置迁移任务在指定时段的最大流量带宽。 不勾选,不进行流量控制。 勾选,进行流量控制。分别设置“开始时间”、“结束时间”和“限速”数值。 例如:设置开始时间08:00、结束时间12:00、限速为20 MB/s,当迁
MySQL-generallog采集器(app-discovery-mysql-generallog) 通过MySQL的general-log日志,采集客户端host和port信息。参数配置说明参见表1。 表1 MySQL-generallog采集器参数配置说明 参数 必选 配置说明
#Migration-proxy-start xxx.xxx.xxx.xxx iam.xxx.com xxx.xxx.xxx.xxx ecs.xxx.com xxx.xxx.xxx.xxx evs.xxx.com xxx.xxx.xxx.xxx ims.xxx.com xxx
自定义参数说明 在目的端配置中,支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云
确认”。创建项目成功,可在项目管理列表查看。 修改项目 单击操作列的“修改”按钮,弹出“修改项目”窗口。 可以修改项目名称、输入项目描述、设置项目的开始时间和结束时间,单击“确认”,完成修改。 归档项目 归档后的项目将在当前项目下拉列表中隐藏,无法选择。单击操作列的“归档”按钮,
元数据连接为MaxCompute类型时,该参数为必填参数,不能为空。其他元数据连接类型,该参数为可选参数,不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。
主机资源发现方式 Edge支持在本地通过以下三种方式发现主机资源: VMware采集:通过vCenter的IP与凭证,一次性发现vCenter下的所有虚拟主机资源。 RvTools导入:将RvTools生成的报告导入到Edge中,从而发现主机资源。 网段扫描:通过扫描指定网段,发现内网中的主机资源。
根据实际需求,选择该表是否为分区表。 业务负责人(可选) 可以指定数据表所属业务的责任人。 分析责任人(可选) 可以指定数据表的分析责任人。 跨源表 根据实际需求设置。设为跨源表后不再显示该表一致性校验结果。 说明(可选) 您可以输入用于数据表的说明。 参数配置完成后,单击“确认”按钮,完成数据表新增。在库表清单列表中可以查看新增的数据表。
配置文件存储批量迁移方案 本节介绍为文件存储批量迁移配置迁移方案的方法。 文件存储批量迁移:适用于源端有多个文件存储地址内的资源需要迁移的场景。如果只有单个文件存储地址内的资源需要迁移,请直接创建单个文件存储迁移工作流。 准备工作 创建迁移项目。 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。
参数说明和自定义参数说明。 表类型 根据实际情况选择。 文件类型 根据实际情况选择。 压缩格式 根据实际情况选择。 迁移选项 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。 表路径映射(可选) 用于确保在元数据迁移过程中,MaxCompute外表的元数据能够正确地迁移