正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
描述 agency 否 String 管理员。 workforces 否 Array of WorkforceConfig objects 执行标注任务的团队列表。 表4 WorkforceConfig 参数 是否必选 参数类型 描述 workers 否 Array of Worker
or args.multiprocessing_distributed ngpus_per_node = torch.cuda.device_count() if args.multiprocessing_distributed: # Since we
Gallery仓库有个名为“Test”的仓库,其中只存放Test模型实例的全部文件。 主要功能 支持本地文件托管至AI Gallery仓库且支持多个文件同时上传。 单个仓库的容量上限为50GB。 支持管理托管的资产文件,例如在线预览、下载、删除文件。 只支持预览大小不超过10MB、格式为文本类或图片类的文件。
用户授予开发环境的使用权限并且配置ModelArts用户OBS相关的最小化权限项为例,指导您进行自定义策略配置。 如果一个自定义策略中包含多个服务的授权语句,这些服务必须是同一属性,即都是全局级服务或者项目级服务。 由于OBS为全局服务,ModelArts为项目级服务,所以需要创
用户授予开发环境的使用权限并且配置ModelArts用户OBS相关的最小化权限项为例,指导您进行自定义策略配置。 如果一个自定义策略中包含多个服务的授权语句,这些服务必须是同一属性,即都是全局级服务或者项目级服务。 由于OBS为全局服务,ModelArts为项目级服务,所以需要创
准备代码 本教程中用到的数据和代码如下表所示,请提前准备好。 获取数据及代码 表1 准备代码 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-6.3.904-xxx.zip 说明: 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的模型训练代码、推理部
准备代码 本教程中用到的训练推理代码和如下表所示,请提前准备好。 获取数据及代码 表1 准备代码 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-6.3.904-xxx.zip 说明: 包名中的xxx表示具体的时间戳,以包名的实际时间为准。 包含了本教程中使
在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境(ModelArts控制台的在线服务功能)中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中,创建文件夹,准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。
024。 测试方法:gpu-memory-utilization为0.9下,以4k、8k、16k递增max-model-len,直至达到能执行静态benchmark下的最大max-model-len。 表1 基于vLLM不同模型推理支持最小卡数和最大序列说明 序号 模型名 32GB显存
024。 测试方法:gpu-memory-utilization为0.9下,以4k、8k、16k递增max-model-len,直至达到能执行静态benchmark下的最大max-model-len。 表1 基于vLLM不同模型推理支持最小卡数和最大序列说明 序号 模型名 32GB显存
x86_64.whl”更改为“faiss_gpu-1.5.3-cp36-cp36m-manylinux1_x86_64.whl”,并安装,执行命令如下: import moxing as mox import os mox.file.copy('obs://wolfros-ne
024。 测试方法:gpu-memory-utilization为0.9下,以4k、8k、16k递增max-model-len,直至达到能执行静态benchmark下的最大max-model-len。 表1 基于vLLM不同模型推理支持最小卡数和最大序列说明 序号 模型名 32GB显存
指南》。 与云监控的关系 ModelArts使用云监控服务(Cloud Eye Service, 简称CES)监控在线服务和对应模型负载,执行自动实时监控、告警和通知操作。CES的更多信息请参见《云监控服务用户指南》。 与云审计的关系 ModelArts使用云审计服务(Cloud
ModelArts CLI,集成在ModelArts开发环境Notebook中,用于连接ModelArts服务并在ModelArts资源上执行管理命令。ma-cli支持用户在ModelArts Notebook及线下虚拟机中与云端服务交互,使用ma-cli命令可以实现命令自动补全
指南》。 与云监控的关系 ModelArts使用云监控服务(Cloud Eye Service, 简称CES)监控在线服务和对应模型负载,执行自动实时监控、告警和通知操作。CES的更多信息请参见《云监控服务用户指南》。 与云审计的关系 ModelArts使用云审计服务(Cloud
回复的通知,所有用户均可查看资产评论并回复评论,对评论点赞等。 下架Notebook 当您需要在AI Gallery下架共享的资产时,可以执行如下操作: 在“AI Gallery”页面,选择“我的Gallery > 我的资产 > Notebook”,进入“我的Notebook”。
model_status 否 String 模型状态,可根据模型的“publishing”、“published”、“failed”三种状态执行查询。 description 否 String 描述信息,可支持模糊匹配。 offset 否 Integer 指定要查询页的索引,默认为“0”。
024。 测试方法:gpu-memory-utilization为0.9下,以4k、8k、16k递增max-model-len,直至达到能执行静态benchmark下的最大max-model-len。 表1 基于vLLM不同模型推理支持最小卡数和最大序列说明 序号 模型名 32GB显存
动态挂载API接口已发布至华北-北京四和华东-上海一站点。请参考JupyterLab主页介绍、在JupyterLab中新建ipynb文件,新建一个ipynb文件然后执行脚本。 挂载脚本代码示例如下。更多API参数介绍请参考动态挂载OBS。 import os from json import JSONEncoder
运行完后,在当前目录下会生成ascend_vllm文件夹,即为昇腾适配后的vLLM代码。 Step3 配置NPU环境 在Notebook的terminal中执行如下命令进行环境配置。 配置需要的NPU卡。 export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3 0,1,2