检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HCCL_OP_EXPANSION_MODE=AIV #可选 通过PTA_TORCHAIR_DECODE_GEAR_LIST设置动态分档位后，在PTA模式下，会根据服务启动时的max_num_seqs参数对档位进行调整，使得最终的最大档位为max_num_seqs，因此，请根据使用场景合理设置动态分
ModelArts服务支持购买套餐包，根据用户选择使用的资源不同进行收费。您可以根据业务需求选择使用不同规格的套餐包。 ModelArts提供了AI全流程开发的套餐包，面向有AI基础的开发者，提供机器学习和深度学习的算法开发及部署全功能，包含数据处理、模型开发、模型训练、模型管理和模型部署流程。
用1.5倍的时间代价，生成了3倍的token数量，性能提升了100%。 投机推理参数设置 在启动离线或在线推理服务时参考表1所示配置参数，使用投机推理功能。 表1 投机推理相关参数 服务启动方式 配置项 取值类型 配置说明 offline speculative_model str
docker run -ti -d -v /mnt/sfs_turbo:/sfs my_deeplearning_image:v1 上述命令表示把宿主机的"/mnt/sfs_turbo"目录挂载到容器的"/sfs"目录，在宿主机和容器对应目录的所有改动都是实时同步的。 分析错误时：
907版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8.0.rc2。 确保容器可以访问公网。 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。
进入Notebook控制台，单击“开发空间 > Notebook”，在Notebook实例列表里找到对应的实例，选择“更多 > 保存镜像”。 在保存镜像对话框中，设置组织、镜像名称、镜像版本和描述信息。单击“确定”保存镜像。 镜像会以快照的形式保存，保存过程约5分钟，请耐心等待。此时不可再操作实例。
支持random、sharegpt、human-eval三种输入。random表示构造随机token的数据集进行测试；sharegpt表示使用sharegpt数据集进行测试；human-eval数据集表示使用human-eval数据集进行测试。注意：当输入为sharegpt或hu
实时推理的部署及使用流程 在创建完模型后，可以将模型部署为一个在线服务。当在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。访问在线服务时，您可以根据您的业务需求，分别确认使用何种认证
AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel
Snt9B硬件，完成SDXL LoRA训练。 获取软件和镜像 表1 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.908软件包中的AscendCloud-AIGC-6.3.908-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。 获取路径：Support-E
AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel
区域、可用区？。 资源类型：ModelArts支持查询的资源类型如表1所示。 资源标签：不填写标签时，表示查询所有资源，无论此资源是否有配置标签。选择相应标签查询资源，用户可以通过多个标签组合查询资源使用情况。 表1 ModelArts的资源类型 资源类型 说明 ModelArts-Notebook
pyterLab中下载大于100MB的文件到本地。 从JupyterLab中下载不大于100MB的文件至本地 在JupyterLab文件列表中，选择需要下载的文件，单击右键，在操作菜单中选择“Download”下载至本地。 下载的目的路径，为您本地浏览器设置的下载目录。 图1 下载文件
源利用率。 登录ModelArts管理控制台，在左侧导航栏中选择“AI专属资源池 > 弹性集群Cluster”，在“网络”页签，单击网络列表中某个网络操作列的“打通VPC”。 图1 打通VPC 在打通VPC弹框中，打开“打通VPC”开关，在下拉框中选择可用的VPC和子网。 需要打通的对端网络不能和当前网段重叠。
0.6 PyTorch版本：2.2.0 Python版本：3.10 确保容器可以访问公网。 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 Template 支持模型参数量 权重文件获取地址 Llama2 llama2 llama2-7b
edu.cn/help/anaconda/。 常用Conda命令 全部Conda命令建议参考Conda官方文档。这里仅对常用命令做简要说明。 表1 常用Conda命令 命令说明 命令 获取帮助 conda --help conda update --help #获取某一命令的帮助，如update
）权限赋予了Prometheus，同时将上面创建的ConfigMap资源以文件系统的方式挂载到了prometheus容器的“/etc/prometheus”目录，并且通过--config.file=/etc/prometheus/prometheus.yml参数指定了“/bin/prometheus”使用该配置文件。
模型的自定义镜像制作场景三 约束限制 自定义镜像中不能包含恶意代码。 创建模型的自定义镜像大小不超过50GB。 对于同步请求模式的模型，如果预测请求时延超过60s，会造成请求失败，甚至会有服务业务中断的风险，预测请求时延超过60s时，建议制作异步请求模式的模型。 自定义镜像的配置规范 镜像对外接口 设置镜
更加完善的集群信息：全新改版的专属资源池详情页面中，提供了作业、节点、资源监控等更加全面的集群信息，可帮助您及时了解集群现状，更好的规划使用资源。 自助管理集群GPU/NPU驱动：每个用户对集群的驱动要求不同，在新版专属资源池列表页中，可自行选择加速卡驱动，并根据业务需要进行立即变更或平滑升级。
状态码 状态码如表1那所示。 表1 状态码 状态码 编码 状态码说明 100 Continue 继续请求。 这个临时响应用来通知客户端，它的部分请求已经被服务器接收，且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如，切换到HTTP的新版本协议。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
