检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移失败,提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败,在数据湖探索的Spark作业查看报错信息为:The throttling thershold has been reached 问题分析 出现该问题,是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
采集。 查看主机资源详情 当RVTools导入任务状态为“成功”时,在资源采集页面的主机资源列表,可以查看导入的主机资源信息,单击主机资源名称,可以查看该主机的更多基本信息、规格信息等。 查看资源统计信息 当RVTools导入任务状态为“成功”时,在资源统计页面,可以查看VMware资源的统计信息,包括:
按钮,上传至迁移中心。 上传成功后,单击任务框中,任务总数后的“查看”,进入任务列表页面,查看任务状态。 如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。常见失败原因的处理方法请参考导入RVTools资源任务失败。
按钮,上传至迁移中心。 上传成功后,单击任务框中,任务总数后的“查看”,进入任务列表页面,查看任务状态。 如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。常见失败原因的处理方法请参考导入RVTools资源任务失败。
在任务管理页签,可以查看已创建的元数据同步任务列表以及参数配置信息。单击操作列的“更多>修改”,可以修改任务参数配置。 图5 元数据同步任务管理 单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务
求: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 检查是否已开放MgC Agent(原Edge)需要的端口,所需端口请查看通信矩阵。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。
作。 阿里云访问密钥(AK/SK)准备 准备一组源端阿里云账号的Access Key(AK)和Secret Key(SK),获取方法请参考查看RAM用户的AccessKey信息。 确保该AK/SK具备以下最小权限要求: 拥有OSS服务的只读权限:AliyunReadOnlyAccess
TB,块存储比例设置为20%,则块存储容量为20 TB。 HDD(普通硬盘):设置HDD占块存储容量的比例。 SSD(固态硬盘):设置SSD占块存储容量的比例。 文件存储 比例:设置文件存储占总存储容量的比例。例如:总存储容量为100 TB,文件存储比例设置为60%,则文件存储容量为60 TB。 对象存储 比
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名对象。
在创建元数据连接时,如果要使用“采集资源使用信息”功能和查看资源概览,需要为IAM账号的AK/SK添加MRS服务和DLI服务的只读权限(ReadOnly)。 阿里云访问密钥(AK/SK)准备 准备一组源端阿里云账号的Access Key(AK)和Secret Key(SK),获取方法请参考查看RAM用户的AccessKey信息。
绑定已有目的端:根据评估结果,如果您在华为云上已有满足要求的主机,可以选择并绑定该主机作为目的端主机。 查看评估推荐结果 在迁移方案设计页面的应用列表,单击操作列的“查看资源配置”,进入目的端配置表页面。 在资源配置明细区域,可以查看应用内各类型资源的评估推荐结果,其中目的端规格配置是根据源端规格配置和评估策
脚本的内存不足,导致迁移失败。 解决方法 检查并调整PowerShell内存配置。 在源端待迁移主机的PowerShell内执行以下命令,查看PowerShell运行时的内存配置参数。 Get-Item WSMan:\localhost\Shell\MaxMemoryPerShellMB
务管理页签,可以查看已创建的数据湖元数据同步任务列表以及参数配置信息。单击操作列的“更多>修改”,可以修改任务参数配置。 单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录
在任务管理页签,可以查看已创建的数据湖元数据同步任务列表以及参数配置信息。单击操作列的“更多>修改”,可以修改任务参数配置。 单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录
Agent(原Edge)上添加源端资源凭证。连接迁移中心后,资源凭证会同步至迁移中心。在MgC Agent上添加的凭证都会加密存储在您本地,同步时密码、密钥等凭证信息并不会上传至迁移中心。 在MgC Agent添加的资源凭证存储有效期为60天,超过60天后,凭证会过期,需要重新添加。 前提条件 已在源端安装迁移中心Agent,并与迁移中心连接成功。
绑定专属主机:如果您需要将源端主机迁移到华为云专属主机 DeH上,可以选择绑定已有专属主机。 查看评估推荐结果 在迁移方案设计页面的应用列表,单击操作列的“查看资源配置”,进入目的端配置表页面。 在资源配置明细区域,可以查看应用内各类型资源的评估推荐结果,其中目的端规格配置是根据源端规格配置和评估策
新项目窗口。 图1 创建项目 在弹出的窗口中,仔细查看并了解项目类型的适用场景后,根据实际需求选择项目类型。 项目类型选择后将无法更改。 图2 选择项目类型 输入自定义的项目名称,单击“创建”。创建项目成功,可在项目管理列表查看。
绑定专属主机:如果您需要将源端主机迁移到华为云专属主机 DeH上,可以选择绑定已有专属主机。 查看评估推荐结果 在迁移方案设计页面的应用列表,单击操作列的“查看资源配置”,进入目的端配置表页面。 在资源配置明细区域,可以查看应用内各类型资源的评估推荐结果,其中目的端规格配置是根据源端规格配置和评估策
配置完成后,单击“创建评估”,主机规格评估创建成功。规格评估完成后,可以查看评估推荐结果,其中目的端规格配置即为该资源的迁移目的端。 查看评估推荐结果 在迁移方案设计页面的应用列表,单击操作列的“查看资源配置”,进入目的端配置表页面。 在资源配置明细区域,可以查看应用内各类型资源的评估推荐结果,其中目的端规
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中,