检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练启动脚本说明和参数配置 本代码包中集成了不同模型(包括llama2、llama3、Qwen、Qwen1.5 ......)的训练脚本,并可通过统一的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成,则执行脚本,自动完成数据预处理和权重转换的过程。
训练启动脚本说明和参数配置 本代码包中集成了不同模型(包括llama2、llama3、Qwen、Qwen1.5 ......)的训练脚本,并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成,则执行脚本,自动完成数据预处理和权重转换的过程。
训练启动脚本说明和参数配置 本代码包中集成了不同模型(包括llama2、llama3、Qwen、Qwen1.5 ......)的训练脚本,并可通过统一的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成,则执行脚本,自动完成数据预处理和权重转换的过程。
池过程中,如果需要开启自定义网络配置,需要配置VPC权限。 VPC FullAccess 可选 配置MaaS基础操作权限 创建用户组。 登录IAM管理控制台,单击“用户组>创建用户组”。在“创建用户组”界面,输入“用户组名称”单击“确定”。 配置用户组权限。 在用户组列表中,单击
ModelArts导入模型时,如何编写模型配置文件中的安装包依赖参数? 问题描述 从OBS中或者从容器镜像中导入模型时,开发者需要编写模型配置文件。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。配置文件为JSON格式。配置文件中的“dependencies”,表示配置模型推
--max-depth 0 如果Notebook实例的存储配置采用的是云硬盘EVS,可在Notebook详情页申请扩容磁盘。 建议与总结 建议在使用Notebook时注意磁盘空间大小,随时删除不需要的文件。以免因磁盘空间问题导致训练失败。 父主题: 环境配置故障
已拥有需要部署SNAT的弹性云服务器。 待部署SNAT的弹性云服务器操作系统为Linux操作系统。 待部署SNAT的弹性云服务器网卡已配置为单网卡。 步骤一:打通VPC 通过打通VPC,可以方便用户跨VPC使用资源,提升资源利用率。 登录ModelArts管理控制台,在左侧导航栏中选择“AI专属资源池
自定义镜像导入配置运行时依赖无效 问题现象 通过API接口选择自定义镜像导入创建模型,配置了运行时依赖,没有正常安装pip依赖包。 原因分析 自定义镜像导入不支持配置运行时依赖,系统不会自动安装所需要的pip依赖包。 处理方法 重新构建镜像。 在构建镜像的dockerfile文件
在ModelArts控制台的左侧导航栏中,选择“专属资源池”,单击创建,未提示权限不足,表明管理员用户的权限配置成功。 配置开发者权限 开发者权限需要通过IAM的细粒度授权控制实现,可以通过以下配置流程实现开发者权限配置。 使用主账号创建一个开发者用户组user_group,将开发者账号加入用户组use
在SWR服务页面创建镜像组织。 图2 创建镜像组织 Step3 安装Docker 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。 yum install -y docker 配置IP转发,用于容器内的网络访问。执行以下命令查看net
下载或读取文件报错,提示超时、无剩余空间 问题现象 训练过程中复制数据/代码/模型时出现如下报错: 图1 错误日志 原因分析 出现该问题的可能原因如下。 磁盘空间不足。 分布式作业时,有些节点的docker base size配置未生效,容器内“/”根目录空间未达到50GB,只有默认的10GB,导致作业训练失败。 实际存储空间足够,却依旧报错“No
device” 问题现象 训练过程中复制数据/代码/模型时出现如下报错: 图1 错误日志 原因分析 出现该问题的可能原因如下。 磁盘空间不足。 分布式作业时,有些节点的docker base size配置未生效,容器内“/”根目录空间未达到50G,只有默认的10GB,导致作业训练失败。 实际存储空间足够,却依旧报错“No
在ModelArts上训练模型如何配置输入输出数据? ModelArts支持用户上传自定义算法创建训练作业。上传自定义算法前,请完成创建算法并上传至OBS桶。创建算法请参考开发用于预置框架训练的代码。创建训练作业请参考创建训练作业指导。 解析输入路径参数、输出路径参数 运行在Mo
训练启动脚本说明和参数配置【旧】 本代码包中集成了不同模型(包括llama2、llama3、Qwen、Qwen1.5 ......)的训练脚本,并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成,则执行脚本,自动完成数据预处理和权重转换的过程。
内存不足如何处理? 问题现象 在部署或升级在线服务时,如果部署或升级失败,并且在事件中出现如下类似提示。 图1 内存不足提示样例1 运行中服务出现告警时,在事件中出现建议:内存不足,请增加内存。 图2 内存不足提示样例2 原因分析 部署或升级时出现该提示,可能原因是选择的计算节点规格内
在该ECS上进行。 注意:CPU架构必须选择鲲鹏计算,镜像推荐选择EulerOS。 图1 购买ECS 创建镜像组织。 在SWR服务页面创建镜像组织。 图2 创建镜像组织 安装Docker。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
JupyterLab中文件保存失败,如何解决? 问题现象 JupyterLab中保存文件时报错如下: 原因分析 浏览器安装了第三方插件proxy进行了拦截,导致无法进行保存。 在Notebook中的运行文件超过指定大小就会提示此报错。 jupyter页面打开时间太长。 网络环境原因,是否有连接网络代理。
*security.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list 安装NFS客户端,挂载对应盘。 sudo apt-get update sudo apt-get install nfs-common 获取SFS
OpenAI-API-compatible”供应商,单击添加模型。 在弹窗中,配置MaaS对应的模型名称、API Key、API Endpoint URL、Function calling等信息。 表1 配置说明 配置项 说明 模型名称 MaaS服务调用界面显示的模型名称。 API Key
理”页面。 单击“添加授权”,进入“访问授权”配置页面,根据参数说明进行配置。 “授权对象类型”:根据需要选择"IAM子用户"、"联邦用户"、"委托用户"、"所有用户" “授权对象”:选择授权对象 “委托选择”:新增委托 “权限配置”:普通模式,选中弹性文件服务(SFSTurbo