检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“apis定义” 提供模型对外Restfull api数据定义，用于定义模型的输入、输出格式。apis定义填写规范请参见模型配置文件编写说明中的apis参数说明，示例代码请参见apis参数代码示例。 确认信息填写无误，单击“立即创建”，完成模型创建。
分钟 工作空间的配额值修改完成后，单击“提交修改”，当“配额值”数据刷新表示修改成功。 修改工作空间 工作空间创建成功后，支持修改信息。 在ModelArts管理控制台的左侧导航栏中，选择“工作空间”进入工作空间列表。 在工作空间列表，单击操作列的“修改”进入修改工作空间页面。
仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 支持的模型列表和权重文件 本方案支持vLLM的v0.5.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。
右侧“配置信息”区域会显示计算规格的详细数据，AI Gallery会基于资产和资源情况分析该任务是否支持设置“商品数量”，用户可以基于业务需要选择任务所需的资源卡数。 在“运行时长控制”选择是否指定运行时长。
获取待下载的文件名 在AI Gallery页面的资产详情页，如果是模型资产，则选择“模型文件”页签，如果是数据集资产，则选择“文件版本”页签，获取“文件名称”。 下载单个文件 在服务器执行如下命令，可以从AI Gallery仓库下载单个文件到服务器的缓存目录下。
“apis定义” 提供模型对外Restfull api数据定义，用于定义模型的输入、输出格式。apis定义填写规范请参见模型配置文件编写说明中的apis参数说明，示例代码请参见apis参数代码示例。 确认信息填写无误，单击“立即创建”，完成模型创建。
保留期到期后，如果您仍未支付账户欠款，那么计算资源将被释放，数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于充值的详细操作请参见账户充值。 欠费受限 您购买的资源欠费后，会导致部分操作受限，建议您尽快续费。
仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.5.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。
形式为“参数名=参数取值”，例如“limit=10”，表示查询不超过10条数据。
支持FP16和BF16数据类型推理。 Lite k8s Cluster驱动版本推荐为23.0.6。 适配的CANN版本是cann_8.0.rc3。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的Lite k8s Cluster。
仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。
--max-model-len：最大数据输入+输出长度，不能超过模型配置文件config.json里面定义的“max_position_embeddings”和“seq_length”；如果设置过大，会占用过多显存，影响kvcache的空间。
支持FP16和BF16数据类型推理。 Lite k8s Cluster驱动版本推荐为23.0.6。 适配的CANN版本是cann_8.0.rc3。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的Lite k8s Cluster。
仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。
事件保存周期为1个月，1个月后自动清理数据。 查看服务的事件类型和事件信息，请参见查看在线服务的事件 日志 展示当前服务下每个模型的日志信息。包含最近5分钟、最近30分钟、最近1小时和自定义时间段。 自定义时间段您可以选择开始时间和结束时间。
支持FP16和BF16数据类型推理。 Lite k8s Cluster驱动版本推荐为23.0.6。 适配的CANN版本是cann_8.0.rc3。 资源规格要求 本文档中的模型运行环境是ModelArts Lite的Lite k8s Cluster。
仅支持FP16和BF16数据类型推理。 本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.3版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。
如果用户设置了动态维度，实际推理时，使用的输入数据的shape需要与设置的档位相匹配。 父主题： 应用迁移
ModelArts开发环境提供的预置镜像主要包含： 常用预置包：基于标准的Conda环境，预置了常用的AI引擎，常用的数据分析软件包，例如Pandas，Numpy等，常用的工具软件，例如cuda，cudnn等，满足AI开发常用需求。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
