检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
x”网段的白名单。 请提交工单到VPC服务,并提供以下信息进行开通: 华为云账号名、目的端DLI服务所在Region的项目ID:获取方法请参考API凭证。 DLI服务的租户名以及租户的项目ID:请联系DLI服务的技术支持人员获取。 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
Windows进程与网络采集器(app-discovery-process-netstat-win) 采集Windows目标节点的进程级网络关联关系,只支持运行于Windows操作系统。采集器使用WMI(Windows Management Instrumentation)协议和
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。 说明: 在数据迁移时,系统会对所有数据发起取回操作,源端云服务商会收取相应的API调用费用和存储费用。 过滤配置 通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。 CDN迁移支持 当默认域名不能
价格计算说明 本节介绍使用TCO对比功能进行成本分析后,产品映射列表中所展示的价格计算说明。 资源总用量 显示该资源在账单区间内(即所选对比时间段内)的使用时长/使用容量,与账单中的用量保持一致。 不会体现该资源在账单区间内使用的具体时间节点。 根据产品类型单位分为小时或者GB。
DeltaLake(有元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake存在元数据,可通过数据湖元数据同步方式进行数据采集。
概述 背景介绍 当您迁移Linux主机时,需要确保源端主机能够识别并解析相关云服务的接口域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多,手动编辑将非常耗时。为了简化这一过程,我们提供了一个批量修改的脚本示例。您可以利用这个脚本,快速地将域名解析IP批
创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake(无元数据)
创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake(无元数据)
元数据增量感知 识别出上一次迁移后,在源端数据库中发生变化的元数据,并同步至目的端华为云数据湖探索(DLI)。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark
元数据增量感知 识别出上一次迁移后,在源端数据库中发生变化的元数据,并同步至目的端华为云数据湖探索(DLI)。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark
并确保该文件能被访问。文件内写入相关云服务的接口域名映射,并以#Migration-proxy-start开始,以#Migration-proxy-end结束。相关云服务的接口域名映射需要根据具体的环境而定,请联系对应局点的环境接口人获取。 示例: #Migration-proxy-start
并确保该文件能被访问。文件内写入相关云服务的接口域名映射,并以#Migration-proxy-start开始,以#Migration-proxy-end结束。相关云服务的接口域名映射需要根据具体的环境而定,请联系对应局点的环境接口人获取。 示例: #Migration-proxy-start
通过HTTP迁移Ceph存储数据到华为云OBS 本文介绍如何使用迁移中心(MgC)的存储迁移工作流,实现通过HTTP协议将Ceph存储的数据迁移至华为云对象存储服务(OBS)的方法。 支持的区域 当前支持以下区域(Region): 华北-北京四 华北-乌兰察布一 华南-广州 华东-上海一
问卷调研 概述 通过问卷调研的方式,基于华为云专业服务多年的经验积累,为您提供全面的源端架构梳理及资源分析功能。 支持调研的架构包括: 运维架构调研:识别客户在运维流程管理中的痛点与待改进空间,助力客户规划上云后的运维架构设计。 技术架构调研:通过技术架构调研问卷,全面了解客户的
问卷调研 概述 通过问卷调研的方式,基于华为云专业服务多年的经验积累,为您提供全面的源端架构梳理及资源分析功能。 支持调研的架构包括: 运维架构调研:识别客户在运维流程管理中的痛点与待改进空间,助力客户规划上云后的运维架构设计。 技术架构调研:通过技术架构调研问卷,全面了解客户的
配置采集器插件JVM参数 Windows系统 以下步骤以Windows 11 ,采集器rda-collector-server为例。 启动脚本位置。 MgC Agent安装目录(默认为C:\Edge) .\tools\plugins\collectors\rda-collector-server\bin\start
配置Edge Tomcat服务器JVM参数 Windows系统 以下步骤以Windows 11 为例。 启动脚本位置。 在MgC Agent安装目录下(默认为C:\Edge):.\tools\SecAs-1.2.29\bin\startup.bat,启动脚本。 配置JVM参数。 进入MgC
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)