检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
联系您所在企业的华为方技术支持。 适配的CANN版本是cann_8.0.rc2,驱动版本是23.0.5。 本文档适用于仅使用OBS对象存储服务(Object Storage Service)作为存储的方案,OBS用于存储模型文件、训练数据、代码、日志等,提供了高可靠性的数据存储解决方案。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码:200 表3 响应Body参数 参数 参数类型
0/12~24 192.168.0.0/16~24。 connection NetworkConnection object 当前网络与其他云服务的连通信息。 表10 NetworkConnection 参数 参数类型 描述 peerConnectionList Array of peerConnectionList
在镜像预热中单击编辑图标,填写镜像预热信息。 表1 镜像预热参数 参数名称 说明 镜像来源 可选择“预置”或“自定义”的镜像。 预置:可选择SWR服务上自有的或他人共享的镜像。 自定义:可直接填写镜像地址。 添加镜像密钥 若本租户不具有预热镜像的权限(即非公开/非本租户私有/非他人共享的
请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主
0/12~24 192.168.0.0/16~24。 connection NetworkConnection object 当前网络与其他云服务的连通信息。 表7 NetworkConnection 参数 参数类型 描述 peerConnectionList Array of peerConnectionList
rc2,驱动版本是23.0.5。 本文档适用于OBS+SFS Turbo的数据存储方案,不适用于仅使用OBS的存储方案。通过OBS对象存储服务(Object Storage Service)与SFS Turbo文件系统联动,可以实现数据灵活管理、高性能读取数据等。通过OBS上传训
用户可在AI Gallery上一键下载需要的数据资源到ModelArts数据集。 提供多种数据接入方式,支持用户从OBS,MRS,DLI以及DWS等服务导入用户的数据。 提供18+数据增强算子,帮助用户扩增数据,增加训练用的数据量。 帮助用户提高数据的质量。 提供图像、文本、音频、视频等多
一种方式进行认证即可。 用户名密码认证模式: 支持OBS管理、数据管理、训练管理、模型管理、服务管理的鉴权。 用户AK-SK认证模式: 支持OBS管理、数据管理、训练管理、模型管理、服务管理的鉴权。 用户名密码认证模式 本地安装完成ModelArts SDK后,可通过用户名密码认
multi-lora特性不能和Chunked Prefill特性一起使用。 multi-lora特性使用说明 如果需要使用multi-lora特性,需要在推理服务启动命令中额外添加如下命令。 --enable-lora \ --lora-modules lora1=/path/to/lora/adapter1/
Standard上的全量微调和LoRA微调方案。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 本文档适用于仅使用OBS对象存储服务(Object Storage Service)作为存储的方案,OBS用于存储模型文件、训练数据、代码、日志等,提供了高可靠性的数据存储解决方案。
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档 和本文档配套的模型训练文档请参考《主流开源大模型基于Lite
请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码:200 表4 响应Body参数 参数 参数类型
0.rc3,驱动版本是23.0.6。 本案例仅支持在专属资源池上运行,确保专属资源池可以访问公网。 文档更新内容 6.3.909版本相对于6.3.908版本新增如下内容: 文档中新增对Llama3.1的适配。 ModelLink框架和MindSpeed已升级到最新版本。 支持的模型列表
本案例仅支持在专属资源池上运行,确保专属资源池可以访问公网。 文档更新内容 6.3.912版本相对于6.3.911版本新增如下内容: 代码结构发生变化,统一了modellink和llama-factory的启动方式。 继承911版本启动方式以外增加新的启动方式: ascendfactory-cli train
0/12~24 192.168.0.0/16~24。 connection NetworkConnection object 当前网络与其他云服务的连通信息。 表14 NetworkConnection 参数 参数类型 描述 peerConnectionList Array of peerConnectionList
适配的CANN版本是cann_8.0.rc3,驱动版本是23.0.6。 本案例仅支持在专属资源池上运行。 文档更新内容 6.3.908版本相对于6.3.907版本新增如下内容: 文档和代码中新增对mistral和mixtral模型的适配,并添加训练推荐配置。 文档准备镜像步骤中,仅提供:
-aux查到的进程号, 使用kill -9强制关闭进程。 sudo kill -9 <进程ID> 方法2: 如果方法1执行后无法消除D+进程, 请尝试重启服务器。 父主题: Lite Server
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题: 准备工作
否 Integer 数据类型。可选值如下: 0:OBS桶(默认值) 1:GaussDB(DWS)服务 2:DLI服务 3:RDS服务 4:MRS服务 5:AI Gallery 6:推理服务 schema_maps 否 Array of SchemaMap objects 表格数据对应的schema映射信息。