检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口。 Spark客户端目录 填写Spark客户端的安装目录路径。 环境变量地址 填写环境变量文件(配置文件)的绝对路径,例如:/o
设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
选择在源端环境中部署的迁移工具Edge。 执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口。 Spark客户端目录 填写Spark客户端的安装目录路径。 环境变量地址
在待迁移桶列表中,单击操作列的“修改”,弹出修改迁移设置窗口。 选择源端凭证,输入对象个数和容量(可选),单击“确认”,完成桶的迁移设置。 如果桶的迁移方式为“列表迁移”,需要在列表路径中输入列表文件的存放路径并以“/”结尾。 如果桶的迁移方式为“前缀迁移”,在“前缀路径”添加对象名称或者名称前缀,单击“确定”保存前缀。
凭证管理 凭证是资源采集的唯一认证方式,本节介绍如何添加用于发现云上资源(公网发现)所需要的凭证。内网发现、手动添加所需的凭证添加方式请参考在Edge添加凭证。 认证方式 当前仅支持添加公有云资源类型的凭证。支持的认证方式参见表1。 表1 公有云认证方式 资源类型 认证方式 说明
与步骤一采集对象存储资源时,所选的源端云平台保持一致。此处选择“华为云”。 目的端桶区域 选择目的端桶所在区域。 在待迁移桶列表区域,单击“添加桶”按钮,右侧弹出添加桶窗口。 勾选需要迁移的桶,单击操作列的“修改”,调整桶的迁移方式为“前缀迁移”,单击“确认”,添加该桶到待迁移桶列表中。 所选的资源必须都来源于基础配置所选的源端平台。
进行大数据校验,在新增连接时,凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题,可能的原因如下: 凭证添加错误:在Edge添加的凭证类型与新增连接所需的凭证类型不对应。 凭证同步失败:在Edge添加的凭证未能同步到MgC。 解决方法 凭证添加错误:前往Edge控制台
根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径(可选) 元数据连接为Delta时,为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径(可选) 元数据连接为Delta(无元数据)时,为必填项。 输入目的端数据表在数据库中的存放路径。 分区信息(可选)
填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127.0.0.1,192.168.1.1 import 是 填写general-log日志所在路径,例如:C:\data\logs MySQL-General_log开启方法如下: 在my.ini文件的[mysqld]下,添加如下配置:
仅支持云平台数据类型。 在“前缀路径”输入对象名称或者名称前缀,则只迁移与输入对象名称或名称前缀一致的对象。 须知: 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀 多个前缀之间用英文逗号分隔。
仅支持云平台数据类型。 在“前缀路径”输入对象名称或者名称前缀,则只迁移与输入对象名称或名称前缀一致的对象。 须知: 输入对象前缀路径时,如果对象文件在源端桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:文件夹/对象前缀 多个前缀之间用英文逗号分隔。
设置迁移并发数。默认为3,1≤取值范围≤10。 表路径映射(可选) 用于确保在元数据迁移过程中,MaxCompute外表的元数据能够正确地迁移到目的端指定的存储位置,即在OSS中的源路径自动映射为目的端指定的OBS路径。 映射到目的端OBS的路径需要提前创建,并且除桶名以外,其余目录需要与源端OSS目录保存一致。
含软链接,请进行如下处理: 填写实际的文件路径。 迁移完成后,手动在目的端创建相应的软链接。 不支持软连接的迁移:NAS_SMB的迁移、NAS_NFS到OBS的迁移。 NAS_NFS到NAS_NFS的迁移和阿里云 OSS到NAS_NFS的迁移,如果源端存在软链接,请启用“迁移元数
不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。 按表筛选 下载CSV格式的模板。 下载后用记事本打开该CSV模板文件。 注意: 请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。
不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。 按表筛选 下载CSV格式的模板。 下载后用记事本打开该CSV模板文件。 注意: 请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。
与MgC建立连接的Edge工具。 执行机凭证 选择步骤4.在Edge侧添加的源端Delta Lake执行机凭证。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 Spark客户端目录 填写Spark客户端的bin目录的绝对路径 环境变量地址
选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址
如何获取云平台凭证(AK/SK)? 本节为您介绍如何获取添加云平台凭证所需的认证信息(访问密钥)。 获取阿里云访问密钥(AccessKey) 添加阿里云凭证时,需要填写源端资源所在的阿里云账号或RAM用户的AccessKey ID和AccessKey Secret。获取方法请参考创建AccessKey。
与MgC建立连接的Edge工具。 执行机凭证 选择步骤4.在Edge侧添加的源端Delta Lake执行机凭证。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 Spark客户端目录 填写Spark客户端的bin目录的绝对路径 环境变量地址
在左侧导航栏,选择“权限>用户”,进入用户页面。 在用户列表,选择要在Edge添加凭证的用户,单击操作列“更多>下载认证凭据”,可以下载凭证文件中的krb5.conf和user.keytab文件。 在Edge添加凭证时,填写的用户名要与此处下载的凭证对应。 在页面上方菜单栏选择“集群>Hive”,进入