检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在对Azure云平台对象存储资源进行深度采集时，需要使用“存储账户”和“密钥”作为采集凭证，本节介绍获取Azure“存储账户”和“密钥”的方法。 登录 Azure 门户中转到存储账户。 在左侧导航栏选择“安全性和网络 > 访问密钥” ，即可看到“存储账户名称”和“密钥”。 在“key1”下单击密钥后的“显示”按钮，即可显示访问密钥，并出现复制按钮。
lake-current/spark3-delta/delta-core_2.12-*.jar,/opt/apps/DELTALAKE/deltalake-current/spark3-delta/delta-storage-*.jar' 注意： 参数值需要根据实际环境目录和Delta
lake-current/spark3-delta/delta-core_2.12-*.jar,/opt/apps/DELTALAKE/deltalake-current/spark3-delta/delta-storage-*.jar' 注意： 参数值需要根据实际环境目录和Delta
用集群资源，提高任务的并行度和效率。 Local：适用于小规模数据集或开发测试环境，可以快速进行调试和验证。 参数 根据所选的运行模式和实际需求，添加命令行参数。 命令参数（Delta Lake和Hudi配置参数） 安全配置（仅创建Delta Lake目的端任务时可以配置） 如果
用集群资源，提高任务的并行度和效率。 Local：适用于小规模数据集或开发测试环境，可以快速进行调试和验证。 参数 根据所选的运行模式和实际需求，添加命令行参数。 命令参数（Delta Lake和Hudi配置参数） 安全配置（仅创建Delta Lake目的端任务时可以配置） 如果
授权信息列表文件（csv文件）需要您自行创建，在csv文件的第一行（即表头），请按照以下顺序和参数名称填写，并在表头下方的行中，填写每个需要采集的Windows主机的具体参数值。其中IP、USER和PASSWORD为必填参数。 IP(REQUIRED) PORT(REQUIRED) USER(REQUIRED)
目前华为云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 具体
”凭证、目的端“大数据-Hive Metastore”凭证和目的端“MRS执行机”凭证，认证方式分别选择“AK/SK”、“用户名/密钥”、“用户名/密码”。凭证的添加方法请参考添加资源凭证。 MaxCompute侧的AK/SK获取方法请参考查看RAM用户的AccessKey信息。
表目录。那么，映射到目的端的路径必须为：obs://hw-test/documents/example_table，除桶名外，根目录和表目录必须和源端一致。 填写示例： 源端：oss://oss-cn-hangzhou.aliyuncs.com/ali-test/documents/example_table
目前华为云支持以下两种方式创建自定义策略： 可视化视图创建自定义策略：无需了解策略语法，按可视化视图导航栏选择云服务、操作、资源、条件等策略内容，可自动生成策略。 JSON视图创建自定义策略：可以在选择策略模板后，根据具体需求编辑策略内容；也可以直接在编辑框内编写JSON格式的策略内容。 具体
Agent上分别添加源端“大数据-MaxCompute”凭证和目的端“大数据-数据湖搜索（DLI）”凭证，认证方式选择“AK/SK”。凭证的添加方法请参考添加资源凭证。 DLI侧的AK/SK获取方法请参考如何获取AK/SK。 MaxCompute侧的AK/SK获取方法请参考查看RAM用户的AccessKey信息。
配置完成后，选择任务的运行方式。 创建的迁移任务可重复运行，每运行一次，即会生成一条任务实例。 单击任务名称，可以修改任务配置。 立即运行：如果需要立即运行迁移任务，可以勾选“保存后立即运行”，然后单击“保存”按钮，会在任务管理列表中生成一条全量数据迁移任务并自动开始执行迁移。 手动运行：如果需要
表目录。那么，映射到目的端的路径必须为：obs://hw-test/documents/example_table，除桶名外，根目录和表目录必须和源端一致。 填写示例： 源端：oss://oss-cn-hangzhou.aliyuncs.com/ali-test/documents/example_table
准备一组源端阿里云账号的Access Key（AK）和Secret Key（SK），获取方法请参考查看RAM用户的AccessKey信息。 确保该AK/SK具备以下最小权限要求： 拥有OSS服务的只读权限：AliyunReadOnlyAccess 拥有MaxCompute服务的只读权限：Aliyu
密钥（AK/SK）。获取方法请参考准备工作。 在创建元数据连接时，如果要使用“采集资源使用信息”功能和查看资源概览，需要为IAM账号的AK/SK添加MRS服务和DLI服务的只读权限（ReadOnly）。 创建大数据迁移项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，
、准确地完成AKS资源的数据采集工作。 采集原理 使用MgC采集Azure容器服务AKS资源的原理图，如图1所示。 图1 采集AKS资源原理图 调用SDK：通过Azure提供的SDK，MgC调用AKS API，获取容器、虚拟机等资源信息。 接口返回：MgC接收API调用的返回值，这些返回值通常包含丰富的资源数据。
HBase版本间数据迁移后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge）并注册用户，方法请参见安装Linux版本的MgC Agent。 需要将源端和目的端所有节点的主机名和IP地址映射添加到安装MgC Agent
配置完成后，选择任务的运行方式。 创建的迁移任务可重复运行，每运行一次，即会生成一条任务实例。 单击任务名称，可以修改任务配置。 立即运行：如果需要立即运行迁移任务，可以勾选“保存后立即运行”，然后单击“保存”按钮，会在任务管理列表中生成一条增量数据迁移任务并自动开始执行迁移。 手动运行：如果需要
Delta Lake数据校验任务存在以下约束与限制： 源端EMR环境的Spark版本为3.3.1时，支持Delta Lake（有元数据）和Delta Lake（无元数据）的数据校验。 源端EMR环境的Spark版本为2.4.8时，仅支持Delta Lake（有元数据）的数据校验。
AK/SK验证失败，如何处理？ 问题描述 安装MgC Agent（原Edge）并注册成功后，连接迁移中心时，输入AK/SK查询项目，提示AK/SK错误。 问题分析 出现该问题可能的原因有： AK，SK输入错误。 AK，SK被删除或停用。 AK，SK所属账号没有开通编程访问方式。 安装MgC
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
