检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
单击左侧导航栏的“配置管理”,进入配置管理页面。选择“项目管理”页签,单击“创建项目”。 在弹出的窗口中,自定义项目名称,仔细查看并了解项目类型的适用场景后,选择项目类型,单击“确认”。创建项目成功,可在项目管理列表查看。 修改项目 单击操作列的“修改”按钮,弹出“修改项目”窗口。 可以修改项目名称、输入项目描述、设
问题分析 迁移工具Edge使用WinRM服务连接源端主机,进行脚本传输和执行。出现该问题是因为执行脚本的内存不足,导致迁移失败。 解决方法 检查并调整PowerShell内存配置。 在源端待迁移主机的PowerShell内执行以下命令,查看PowerShell运行时的内存配置参数。
后端资源类型 云服务器 连接Master节点所在的ECS虚拟机。 连接管理 OMS云服务的VPCEP端点 允许OMS云服务与迁移集群的Master节点通信。 权限管理 OMS云服务白名单 允许OMS云服务的VPCEP端点进行连接。 Master节点安全组配置 方向 优先级 策略 类型 协议端口
1.0网络打通 SFS 1.0通过创建对等连接来打通网络,方法请参考创建相同账户下的对等连接。 SFS 3.0网络打通 SFS 3.0通过配置VPC终端节点并添加与迁移集群相同的VPC来实现网络打通。 参考配置VPC终端节点,购买VPC终端节点。其中“虚拟私有云”参数配置选择创建集群时所选择的VPC。
行处理。 方法一: 登录目的端主机,在开始菜单打开“运行”输入框。 输入“diskmgmt.msc”,按“Enter”,进入磁盘管理页面。 在磁盘管理页面,可以看到数据盘处于“脱机”状态。 图1 脱机 使用鼠标右键单击“脱机”的数据盘,会出现联机的菜单,单击联机即可恢复正常。 图2
创建并运行元数据同步任务 利用元数据连接,创建元数据同步任务,将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接
在大数据校验页面的功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。连接类型选择“HBase”,单击“下一步”,进入详细配置页面。 根据表4,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 HBase服务参数配置说明
操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>迁移工作流”,进入迁移工作流页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击页面右上角的“创建迁移工作流”按钮,进入选择模板页面。 选择文件存储批量迁移模板,单击“查看步骤详情”,可以查看该模板所包含的迁移阶段
操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>迁移工作流”,进入迁移工作流页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击页面右上角的“创建迁移工作流”按钮,进入选择模板页面。 选择对象存储批量迁移模板,单击“查看步骤详情”,可以查看该模板所包含的迁移阶段
ge工具进行资源采集。 准备工作 在MgC控制台创建项目。 在源端内网环境安装Edge工具,并与迁移中心连接。 在Edge上添加源端资源凭证。 添加主机 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”,进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。
vpc:vpcs:list(查询虚拟私有云列表) vpc:subnets:get(查询子网列表或详情) vpc:publicIps:list(查询弹性公网IP) vpc:securityGroups:get(查询安全组列表或详情) eps:enterpriseProjects:list(查看企业项目列表)
如何查询Edge当前版本? 查询Windows版本 进入Edge的安装目录(默认为C:\Edge)。 双击version.txt文件,查看当前Edge版本信息。 查询Linux版本 执行如下命令,进入Edge安装目录。 cd /opt/cloud/Edge 执行如下命令,可查看Edge的版本信息。
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Delta Lake(无元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称
绑定已有目的端:根据评估结果,如果您在华为云上已有满足要求的主机,可以选择并绑定该主机作为目的端主机。 查看评估推荐结果 在迁移方案设计页面的应用列表,单击操作列的“查看资源配置”,进入目的端配置表页面。 在资源配置明细区域,可以查看应用内各类型资源的评估推荐结果,其中目的端规格配置是根据源端规格配置和评估策
应用管理 创建应用 关联资源 手动添加资源 采集主机性能 查看应用关联分析结果
创建集群 通过集群,您可以创建和管理迁移节点、列举节点,部署和升级迁移插件,并确保存储工作流顺利运行。 创建集群将产生相关服务费用,具体费用请参见计费说明。 创建的集群节点暂不支持直接登录,如有需要请联系技术支持人员。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“部署>迁
新增大数据校验数据连接时,凭证列表数据缺失 问题描述 进行大数据校验,在新增连接时,凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题,可能的原因如下: 凭证添加错误:在Edge添加的凭证类型与新增连接所需的凭证类型不对应。 凭证同步失败:在Edge添加的凭证未能同步到MgC。
选择创建的目的端OBS桶。 对象存储终端地址 输入目的端桶所在区域的终端节点(Endpoint)信息。 例如:目的端桶所在区域为华北-北京四,则输入“obs.cn-north-4.myhuaweicloud.com”。 说明: 可在OBS桶的基本信息查看。 指定前缀 可选参数。将对象迁
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Delta Lake(有元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(有元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称