检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工具Edge。
单击页面右上角的“连接管理”按钮,进入连接管理页面。 单击页面右上角的“创建目的端连接”按钮,右侧弹出新增连接窗口。 连接类型选择“数据湖探索 (DLI)”,单击“下一步”,进入详细配置页面。
在左侧导航树选择“证书和密码”,选择“客户端密码”页签,单击“新客户端密码”,创建一个新的密码。新创建的密码只能在创建时立即查看,请务必复制并备份。 父主题: 资源采集
权限管理 创建用户并授权使用MgC MgC自定义策略 委托权限说明 IAM用户权限
权限管理 如果您需要对华为云上的迁移中心 MgC,给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。
图1 导出执行结果 单击“导出管理”按钮,右侧弹出导出管理窗口。 当导出进度为导出成功后,单击操作列的“下载”,可以将导出结果下载到本地。 图2 下载导出结果 父主题: 大数据数据迁移
Delta 数据量较大时,如何优化校验任务? 本文介绍当源端Delta数据量较大(如超过10000张表)时,如何使用MgC大数据校验功能进行一致性校验的方法。 操作步骤 参考创建元数据连接,创建第一个Delta元数据连接。 使用步骤1.创建的第一个元数据连接,创建元数据同步任务,将源端的元数据同步至迁移中心
操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。
配置管理 项目管理 凭证管理
集群管理 在集群创建完成后,您可以根据实际需求随时调整集群内的流量控制规则和节点信息。 前提条件 已完成集群创建。 添加流量控制规则 登录迁移中心管理控制台。在左侧导航栏选择“部署>迁移集群”,进入迁移集群页面。 在集群列表中,单击操作列的“管理”,右侧弹出集群详细信息页面。
设备管理 您可以在MgC控制台监控和管理当前项目下,与MgC建立连接的Edge。 前提条件 已在源端安装Edge,并与迁移中心连接成功。 查看设备 登录迁移中心管理控制台。
应用管理 创建应用 关联资源 手动添加资源 采集主机性能 查看应用关联分析结果
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
通过应用将资源进行分组管理,为后续规格评估、创建迁移工作流作准备。 前提条件 已通过资源采集页面中公网发现/内网发现/手动添加等方式完成主机资源的发现。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用管理”,进入应用管理页面。
新建应用 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用管理”,进入应用管理页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击应用框中的“新建应用”按钮,弹出新建应用窗口。
离线升级 使用注册的用户名、密码登录Edge控制台,在左侧导航树选择“采集工具管理”,进入应用关联采集器页面。 可以查看已安装的采集器类型、版本以及安装路径等信息。
IAM用户权限 MgC在统一身份认证服务(IAM)能力基础上,为用户提供细粒度的权限管理功能,帮助用户灵活便捷地对账号下的IAM用户设置不同的MgC资源权限,结合权限策略实现权限隔离。 以下是使用MgC不同功能时,IAM用户需要配置的权限。
ClickHouse连接 ClickHouse、阿里云云数据库ClickHouse和CloudTable(Clickhouse)组件配置参数。 创建源端统计任务时,选择源端MRS ClickHouse连接或阿里云云数据库ClickHouse连接。
导出完成后,单击“导出管理”按钮,右侧弹出导出管理窗口。 单击操作列的“下载”,可以将对应表的校验结果下载到本地。 父主题: 大数据校验
MgC自定义策略样例 平台采集、资源管理 { "Version": "1.1", "Statement": [ { "Effect": "Allow",