检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DeltaLake（有元数据）迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake存在元数据，可通过数据湖元数据同步方式进行数据采集
创建存储迁移工作流 本节介绍如何使用存储迁移标准模板创建存储迁移工作流。 前提条件 已完成准备工作。 已创建集群。 （可选）已打通SFS 1.0、3.0和集群之间的网络 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的应用迁移项目。 在左侧导航栏选择
主机迁移运行到“启动迁移Agent”步骤时报错：System.OutOfMemoryException 问题描述 主机迁移工作流进行“启动迁移Agent”步骤时失败，报错信息为：System.OutOfMemoryException 问题分析 MgC Agent（原Edge）使用WinRM
购买资源 目的端规格配置完成后，无需切换服务，可以直接在迁移中心批量购买目的端资源。当前仅支持购买主机资源。主机迁移工作流支持自动购买主机资源，通过“购买列表”批量购买资源适用于部分主机需要重新部署的场景。通过购买列表成功购买的主机，将自动绑定为迁移目的端，可以使用主机工作流继续迁移
安全特性 采集安全性 本地导出 数据上传 数据线上存储 数据分析和呈现 采集时长受控：采集任务在有限的时间内完成，采集避免长时间占用系统资源。 加密保存凭证：所有用于数据采集的凭证都经过加密处理，以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 操作权限与最小权限原则：无论哪种采集方式
创建统计任务并执行校验 利用创建的源端连接和目的端连接，分别创建源端和目的端统计任务，获取源端和目的端的数据信息，以便于进行数据校验。 支持的大数据组件和统计方式说明请参见大数据校验概述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 HBase安全集群任务与非安全集群任务不能同时执行
购买资源 目的端规格配置完成后，无需切换服务，可以直接在迁移中心批量购买目的端资源。当前仅支持购买主机资源。主机迁移工作流支持自动购买主机资源，通过“购买列表”批量购买资源适用于部分主机需要重新部署的场景。通过购买列表成功购买的主机，将自动绑定为迁移目的端，可以使用主机工作流继续迁移
（可选）网络打通 当创建的集群选择的VPC与SFS服务使用的VPC不是同一个时，需要进行额外的网络配置，以确保SFS 1.0、SFS 3.0和集群之间的网络连通。 SFS 1.0网络打通 SFS 1.0通过创建对等连接来打通网络，方法请参考创建相同账户下的对等连接。 SFS 3.0
安装MgC Agent（原Edge）的主机有哪些要求？ 安装Windows版本的主机要求 可以连接外网（公网），并检查是否能够访问MgC和IoTDA服务的域名，具体需要检查的域名请查看域名列表。 检查是否已开放MgC Agent（原Edge）需要的端口，所需端口请查看通信矩阵。 PowerShell
问卷调研 概述 通过问卷调研的方式，基于华为云专业服务多年的经验积累，为您提供全面的源端架构梳理及资源分析功能。 支持调研的架构包括： 运维架构调研：识别客户在运维流程管理中的痛点与待改进空间，助力客户规划上云后的运维架构设计。 技术架构调研：通过技术架构调研问卷，全面了解客户的计算
问卷调研 概述 通过问卷调研的方式，基于华为云专业服务多年的经验积累，为您提供全面的源端架构梳理及资源分析功能。 支持调研的架构包括： 运维架构调研：识别客户在运维流程管理中的痛点与待改进空间，助力客户规划上云后的运维架构设计。 技术架构调研：通过技术架构调研问卷，全面了解客户的计算
将HTTP/HTTPS数据源迁移到OBS时，如果存在URL不同但对象名称相同的情况，会如何处理？ 当从HTTP/HTTPS数据源迁移数据到对象存储服务（OBS）时，由于OBS不区分URL差异，只识别对象名称，因此同名对象会根据创建工作流时，迁移配置中所选的“同名覆盖方式”策略进行处理
存储类型介绍 各云厂商的对象存储服务针对用户业务对存储性能、成本的不同诉求，将对象的存储级别进行了区分，区分的普遍依据是对象的访问频度、访问时延、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据，华为云OBS提供了以下四种存储类型： 标准存储 访问时延低和吞吐量高
配置文件存储批量迁移方案 本节介绍为文件存储批量迁移配置迁移方案的方法。 文件存储批量迁移：适用于源端有多个文件存储地址内的资源需要迁移的场景。如果只有单个文件存储地址内的资源需要迁移，请直接创建单个文件存储迁移工作流。 准备工作 创建迁移项目。 在MgC控制台为本次迁移创建独立的项目
配置文件存储批量迁移方案 本节介绍为文件存储批量迁移配置迁移方案的方法。 文件存储批量迁移：适用于源端有多个文件存储地址内的资源需要迁移的场景。如果只有单个文件存储地址内的资源需要迁移，请直接创建单个文件存储迁移工作流。 准备工作 创建迁移项目。 在MgC控制台为本次迁移创建独立的项目
存储迁移的约束与限制有哪些？ 使用迁移中心进行存储迁移的约束与限制参见表1和表2。 表1 存储迁移通用约束与限制 类别 约束与限制 多版本对象迁移 默认只迁移源端多版本对象中的最新版本，不支持迁移历史版本的对象存储数据。 目的端桶存储类别 目的端桶的存储类别只能为标准存储或者低频访问存储
如何获取添加Azure凭证所需的信息？ 在添加Azure平台资源采集凭证时，需要填写租户ID、客户端（应用）ID、订阅ID以及密钥等信息，本节介绍如何获取这些凭证信息。 获取订阅ID 登录Azure控制台，进入主页。 在搜索框中输入“订阅”，选择“订阅”服务，进入订阅页面。 在订阅列表的第二列可以获取订阅
元数据增量感知 识别出上一次迁移后，在源端数据库中发生变化的元数据，并同步至目的端华为云数据湖探索（DLI）。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前，请联系技术支持人员，将您添加到spark
如何获取微软云的访问凭证 获取存储账户/密钥 在 Azure 门户中单击“存储账户”，选择待迁移的存储账户。 在“安全性和网络”下，选择“访问密钥” 。 此时会显示账户访问密钥，以及每个密钥的完整连接字符串。 选择“显示”，即可显示访问密钥和连接字符串，单击复制图标即可复制密钥和字符串
元数据增量感知 识别出上一次迁移后，在源端数据库中发生变化的元数据，并同步至目的端华为云数据湖探索（DLI）。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前，请联系技术支持人员，将您添加到spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
