检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集时长受控:采集任务在有限的时间内完成,采集避免长时间占用系统资源。 加密保存凭证:所有用于数据采集的凭证都经过加密处理,以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 操作权限与最小权限原则:无论哪种采集方式,都需要具备相应的操作权限,并且遵循最小权限原则,即只授予完成特定任务所需的最小权限。
登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用发现”,进入应用发现页面。在当前项目下拉列表中选择迁移项目。 选择资源列表页签,单击主机资源的资源数量,进入资源列表页面的主机页签。 为需要进行性能采集的主机配置迁移工具和凭证。如果性能采集列的“开始”按钮未置灰,代表已完成配置,可以跳过此步执行步骤7。
保存文件列表的本地文件名(例如:s3url.txt)。 打开生成的列表文件(在本文示例中为s3url.txt),您将看到桶内所有文件的共享s3地址列表。将“s3://及其之前的所有参数”替换为“http://<DOMAIN>:<PORT>/”,以生成可通过浏览器访问的URL(即文
查看并导出校验结果 当源端与目的端的统计任务都执行完成后,在校验结果页面可以查看并导出任务的执行结果。校验结果将按照任务开始执行的日期进行分批,如果单日多次执行校验任务,系统只会保留最后一次的校验结果,之前的执行结果会被后续的执行所覆盖。 前提条件 已创建统计任务并执行校验。 使用须知
根据MgC的要求,编辑URL列表文件内容,使其包含文件的共享下载链接和文件名,格式为: <SHARED-URL> <FILE-NAME> 共享下载链接和文件名之间用制表符隔开,子文件夹的文件名需要包含子文件夹名称。关于URL列表文件的更多要求和限制,请查看存储迁移的约束与限制有哪些?。
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明
大数据校验 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务?
集群状态说明 集群所包含的状态以及状态说明参见表1。 表1 集群状态说明 状态 说明 创建中 正在创建集群资源 创建失败 创建集群资源失败 连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线
本节介绍获取Azure“存储账户”和“密钥”的方法。 登录 Azure 门户中转到存储账户。 在左侧导航栏选择“安全性和网络 > 访问密钥” ,即可看到“存储账户名称”和“密钥”。 在“key1”下单击密钥后的“显示”按钮,即可显示访问密钥,并出现复制按钮。 分别复制“存储账户
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 自定义参数说明
资源采集常见问题和处理方法 如何查看采集失败原因? 公网采集失败,提示:“网络连接超时”或“其他异常” 数据源采集失败,如何重新采集? 如何获取云平台凭证(AK/SK)? 如何获取添加Azure凭证所需的信息? 如何获取Azure对象存储深度采集所需凭证? 如何配置采集Azure容器资源所需权限?
nfig\kube-config\xxx.yaml 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config 须知: 一个k8s集群只需要获取一个配置信息。
HTTP/HTTPS数据源 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 逻辑架构图 通过迁移中心进行存储数据迁移的逻辑架构图如图1所示。 图1 存储迁移逻辑架构图 准备工作 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,获取方法请参见准备工作。
文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName) 目标组件类型(TargetComponentType)
凭证 选择在Edge添加的源端主机凭证,如未提前在Edge上添加源端主机凭证,请前往Edge控制台添加,并同步至迁移中心。 配置完成后,单击“确认”按钮,系统会校验配置信息的正确性并自动执行“迁移预检查”,包括:校验Edge设备与源端的连通性,校验凭证的有效性,并自动对主机规格基
务配置所选区域内的主机资源。 您可以在应用发现页面,选择资源列表页签,单击主机资源的资源数量,进入资源列表页面的主机页签。 在应用发现页面,单击任务总数后的“查看”,进入任务列表页面,查看任务状态。如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到
区域 选择创建集群的区域。 与目的端区域保持一致。 集群类型 选择集群使用场景。 当前仅支持存储迁移场景。 节点创建 Master节点ECS规格 用于管理迁移节点和列举节点,默认创建,无需配置。 规格与迁移节点规格一致 迁移节点ECS规格 迁移节点用于执行迁移和对比的动作,推荐规格为C系列规格,大小是8U16G。
云边协同 连接迁移中心 添加/修改华为云凭证 添加资源凭证 配置OBS桶 设备管理 事件记录
推荐的目的端规格在满足要求的前提下尽量节约成本。 偏好设置 虚拟机规格偏好 选择期望的目的端主机规格类型,支持多选。 系统盘规格偏好 选择期望的目的端系统盘规格类型。 数据盘规格偏好 选择期望的目的端数据盘规格类型。 虚拟机规格调整 选择主机性能规格的推荐策略。 详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘