检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
采集安全性说明 数据采集架构 安全特性 采集项列表 内网采集权限与原理 公网采集权限要求 责任共担
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
迁移工作流将使用所绑定的目的端作为迁移的目的端。绑定已有目的端的主机,无需进行评估推荐,请直接创建主机迁移工作流。 如果您不进行目的端绑定,请执行步骤五:规格评估操作。 绑定的目的端主机有以下要求: 所绑定的目的端主机能够被格式化。迁移工作流将使用所绑定的目的端作为迁移的目的端,迁移过程中该
迁移工作流 工作流配额限制说明 创建主机迁移工作流 创建可用区迁移工作流 创建存储迁移工作流 创建对象存储批量迁移工作流 添加阶段/步骤
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入
主机性能数据,推荐最合适的华为云主机规格,帮助用户一站式大批量发起迁移任务。 主机跨可用区迁移 迁移中心支持AZ间迁移场景,并提供AZ迁移工作流模板,帮助您高效、可视化的完成AZ间的资源迁移和业务切换。 存储迁移 通过独立专享迁移集群以及配置迁移专线,简单、快捷实现对象存储、文件存储一站式上云,提升上云效率。
在资源配置明细区域,单击主机资源操作列的“更改目的端规格”,右侧弹出资源详情窗口。 单击主机规格后的“更改规格”,可以修改目的端主机规格和镜像。 单击磁盘对应的目的端规格处的“更改规格”,可以修改目的端磁盘的存储类型和资源总用量(磁盘容量)。Linux主机的磁盘容量可以根据源端主机磁盘的实际
com,则输入test。 表3 目的端信息参数说明 参数 说明 备注 数据站点类型 根据源端存储类型,选择华为云对应的存储类型。 - AK 输入目的端华为云账号的访问密钥。 数据站点类型选择华为云OBS时填写。 SK 输入目的端华为云账号的私有密钥。 桶 选择目的端OBS桶。 对象存储终端地址 输
大数据-Hive Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager,进入系统页面。 在左侧导航栏,选择“权限>用户”,进入用户页面。 在用户列表,选择要在Edge添加凭证的用户,单击操作列“更多>下载认证凭据”,可以下载凭证文件中的krb5
支持规格评估的数据库类型 目前支持规格评估的数据库类型包括:MySQL、PostgreSQL、MongoDB、Oracle和SQL Server。 父主题: 规格评估
icense用户自行解决。 源端磁盘数据安全性声明 迁移过程中,迁移服务无法感知磁盘内容,需要您自行保障源端磁盘数据的安全性。如果因为源端磁盘数据中存在木马或病毒等软件,导致迁移后目的端VPC内的主机受到影响,迁移中心概不负责。 驱动不可用免责声明 使用AZ迁移工作流进行主机跨A
K ,添加方法请参考添加资源凭证。 确保源端账号和目的端账号拥有迁移需要的权限,详细介绍请参见如何获取源端桶和目的端桶权限?。 在华为云创建用于接收源端对象存储数据的OBS桶(即目的端桶),创建方法请参考创建桶。如果您已有目的端桶,则无需重新创建。 为每个待迁移的源端桶,创建一个
查看微服务的详细信息和依赖服务、被依赖服务列表。 单击操作列的“更多>删除”,可以删除该微服务。 导出应用关联信息 在应用发现页面,单击应用框中的“导出”,可以导出接入层调用链、数据库依赖表、中间件依赖表、应用关联表,用于下线分析。 父主题: 资源发现与采集(复杂项目)
线下主机迁移上云 主机一站式跨可用区迁移 创建存储迁移工作流 大数据数据迁移 支持多种大数据组件的元数据迁移,元数据增量感知,数据全量及增量迁移。 支持区域: 全部 创建源端连接 创建目的端连接 迁移实施 大数据校验 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris
下载并安装Edge 安装Windows版本
下载并安装Edge 安装Windows版本 安装Linux版本
云边协同 连接迁移中心 添加/修改华为云凭证 添加资源凭证 配置OBS桶 设备管理 事件记录
配置脚本 配置update_hosts_linux.sh脚本 配置rollback_hosts_linux.sh脚本 父主题: 批量修改与还原源端Linux主机的Host配置