检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在源端内网环境安装Edge工具,并与迁移中心连接。 在Edge上添加源端资源凭证。 已在应用管理页面创建应用。 添加主机 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用管理”,进入应用管理页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在应用列表,单击应用名称,进入应用详情页面。
obs:bucket:ListBucket(列举桶内对象) obs:bucket:ListAllMyBuckets(获取桶列表) 父主题: 权限管理
IAM用户权限 MgC在统一身份认证服务(IAM)能力基础上,为用户提供细粒度的权限管理功能,帮助用户灵活便捷地对账号下的IAM用户设置不同的MgC资源权限,结合权限策略实现权限隔离。 以下是使用MgC不同功能时,IAM用户需要配置的权限。为IAM用户配置权限的方法请参考创建自定义策略。
obs:bucket:ListBucket(列举桶内对象) obs:bucket:ListAllMyBuckets(获取桶列表) 父主题: 权限管理
Agent,并与迁移中心连接。 在MgC Agent上添加源端资源凭证。 已在应用管理页面创建应用。 添加主机 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。 单击左侧导航栏的“源端发现>应用管理”,进入应用管理页面。 在应用列表,单击应用名称,进入应用详情页面。 在主机资源列
SON格式的策略内容。 具体创建步骤请参见:创建自定义策略。本章为您介绍常用的MgC自定义策略样例。 MgC自定义策略样例 平台采集、资源管理 { "Version": "1.1", "Statement": [ {
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据,无法通过数据湖元数据同步方式进行数据采集,需要通过导入数据的方式获取元数据信息。
在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建迁移集群。 通过集群可以创建Master节点、迁移节点和列举节点,确保文件存储工作流的顺利运行。创建方法请参考创建集群。 创建目的端弹性文件系统。 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统或创建高性能文件系统。
您可以通过创建应用,将采集到的资源添加到应用中,对资源进行功能分组,便于后续进行规格评估和创建迁移工作流。 新建应用 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用管理”,进入应用管理页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击应用框中的“新建应用”按钮,弹出新建应用窗口。 输入
储类型介绍。 KMS加密 不勾选,迁移后对象状态与目的端桶级服务端加密状态保持一致。 勾选,所有对象在迁移到OBS桶后都将被加密存储。 说明: 使用KMS服务端加密可能会降低迁移速率10%左右。 目的端桶所在区域支持KMS加密时,此参数才可用。 解冻归档数据 不勾选:如果遇到归档
储类型介绍。 KMS加密 不勾选,迁移后对象状态与目的端桶级服务端加密状态保持一致。 勾选,所有对象在迁移到OBS桶后都将被加密存储。 说明: 使用KMS服务端加密可能会降低迁移速率10%左右。 目的端桶所在区域支持KMS加密时,此参数才可用。 解冻归档数据 不勾选:如果遇到归档
SON格式的策略内容。 具体创建步骤请参见:创建自定义策略。本章为您介绍常用的MgC自定义策略样例。 MgC自定义策略样例 平台采集、资源管理 { "Version": "1.1", "Statement": [ {
已导入应用关联文件或导入工具采集结果。 查看技术架构图 在应用管理页面,单击应用框中的“技术架构图”,可以查看所有服务、微服务、资源的矩阵图。 选择服务,单击鼠标右键,可以查看该服务的技术架构图、服务依赖图和包含的微服务列表。 查看应用列表 在应用管理页面的应用列表,可以查看项目下的所有应用。通过
14:50(现在)的增量元数据。 MaxCompute参数(可选) 非必填参数,一般为空。如有需要可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选,在数据库参数框中输入需要增量待迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。
看元数据。 前提条件 已创建Delta Lake(有元数据)元数据连接。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。 在元数据采集区域,单击“创建任务 > 数据湖元数据同步”
即按数据库进行筛选,在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模板中添加不需要迁移的表信息,然后上传至MgC。 按表筛选 下载CSV格式的模板。 下载后用记事本打开该CSV模板文件。
SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 表7 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。
IAM用户权限 MgC在统一身份认证服务(IAM)能力基础上,为用户提供细粒度的权限管理功能,帮助用户灵活便捷地对账号下的IAM用户设置不同的MgC资源权限,结合权限策略实现权限隔离。 以下是使用MgC不同功能时,IAM用户需要配置的权限。为IAM用户配置权限的方法请参考创建自定义策略。
Hudi(无元数据)连接 MaxCompute连接 阿里云云数据库ClickHouse连接 您还可以通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。 前提条件 已创建元数据连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页
在源端内网环境中或在可以访问到源端数据库的网络环境中安装MgC Agent并与迁移中心连接。 在资源采集页面,单击数据库资源类型,进入数据库资源列表。 在数据库资源列表中,通过平台类型过滤出采集到的所有AWS数据库资源,在支持深度采集的数据库类型的迁移中心Agent绑定列,单击