检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
样本预测结果输出OBS目录,可以不输入，默认使用output_dir目录下的{service_id}-infer-result子目录。 key_sample_output 否 String 主动学习中难例的输出路径。 log_url 否 String 训练作业的日志OBS输出路径URL，默认为空。
无 请求示例 如下删除服务ID为xxxxxx的模型服务为例。 DELETE https://endpoint/v1/{project_id}/services/xxxxxx 响应示例 状态码： 200 删除服务成功 { } 状态码 状态码 描述 200 删除服务成功 错误码 请参见错误码。
InternVL2基于DevServer适配PyTorch NPU训练微调指导（6.3.908） 方案概览 本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt9B开展InternVL2模型的训练过程，包括Finetune训练、LoRA训练。
登录华为云管理控制台。 在顶部导航栏单击“资源 > 我的配额”，进入服务配额页面。 图6 我的配额 在服务配额页面，单击右上角的“申请扩大配额”，填写申请材料后提交工单。 申请扩大配额主要是申请弹性云服务器ECS实例数、核心数（CPU核数）、RAM容量（内存大小）和云硬盘EV
--queue TEXT Execute queue name. -obs, --obs-bucket TEXT DLI obs bucket to save logs. -sv, --spark-version TEXT
删除服务 删除服务存在如下两种删除方式。 根据部署在线服务生成的服务对象删除服务。 根据查询服务对象列表返回的服务对象删除服务。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。在集成至生产环境之前，需要对此API进行调测，您可以使用以下方式向在线服务发起预测请求： 方式一：使
如果需要增加模型量化功能，启动推理服务前，先参考使用AWQ量化、使用SmoothQuant量化或使用GPTQ量化章节对模型做量化处理。 启动服务与请求。此处提供vLLM服务API接口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考：https://docs
导入模型提示模型或镜像大小超过限制 问题现象 在导入模型时，提示模型或镜像大小超过限制。 原因分析 如果使用的是OBS导入或者训练导入，则是基础镜像、模型文件、代码、数据文件和下载安装软件包的大小总和超过了限制。 如果使用的是自定义镜像导入，则是解压后镜像和镜像下载文件的大小总和超过了限制。
SampleLabels objects 视频在线服务推理结果。 service_id String 在线服务ID。 service_name String 在线服务名称。 service_resource String 用户绑定的在线服务资源ID。 total_sample_count
查询推理服务标签 功能介绍 查询当前项目下的推理服务标签，默认查询所有工作空间，无权限不返回标签数据。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1
service_running_instance_count Integer 服务运行中实例数量。 service_instance_count Integer 服务实例数量。 req_count_per_min Long 服务分钟调用量，这里指当前时间上一分钟的服务调用总量。 表5 Monitor 参数 参数类型
配置后重启服务生效。 启动服务与请求。此处提供vLLM服务API接口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考：https://docs.vllm.ai/en/latest/getting_started/quickstart.html。 以下服务启动介
set_compile_mode(jit_compile=False) 启动服务 用ifconfig命令获取容器ip（若无效可使用ip addr，或者自行寻找其他方式获取到容器ip）。 首先进入目录。 cd /home/ma-user/ComfyUI 启动服务命令如下。 python main.py --port
在“我的模型”页面存在已创建成功的模型。 已准备好训练数据集，并存放于OBS桶中，OBS桶必须和MaaS服务在同一个Region下。 当需要永久保存日志时，需要准备好存放日志的OBS路径，OBS桶必须和MaaS服务在同一个Region下。 创建调优任务 登录ModelArts管理控制台。
会有损失。 如果需要增加模型量化功能，启动推理服务前，先参考使用AWQ量化或使用SmoothQuant量化章节对模型做量化处理。 启动服务与请求。此处提供vLLM服务API接口启动和OpenAI服务API接口启动2种方式。详细启动服务与请求方式参考：https://docs.vllm
获取训练作业日志的文件名 功能介绍 获取训练作业日志的文件名。 URI GET /v1/{project_id}/training-jobs/{job_id}/versions/{version_id}/log/file-names 参数说明如表1所示。 表1 参数说明 参数 是否必选
运行中的可视化作业不单独计费，当停止Notebook实例时，计费停止。 Summary文件如果存放在OBS中，由OBS单独收费。任务完成后请及时停止Notebook实例，清理OBS数据，避免产生不必要的费用。 在开发环境中创建MindInsight可视化作业流程 Step1 创建开发环境并在线打开
运行中的可视化作业不单独计费，当停止Notebook实例时，计费停止。 Summary文件数据如果存放在OBS中，由OBS单独收费。任务完成后请及时停止Notebook实例，清理OBS数据，避免产生不必要的费用。 在开发环境中创建TensorBoard可视化作业流程 Step1 创建开发环境并在线打开
查询服务日志 查询当前服务对象的日志信息。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1：根据部署在线服务生成的服务对象进行查询服务日志 1 2 3 4 5 6 7 from
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
