检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
device 原因分析 因为编译的时候需要设置setup.py中编译的参数arch和code和电脑的显卡匹配。 解决方法 对于GP Vnt1的显卡，GPU算力为-gencode arch=compute_70,code=[sm_70,compute_70]，设置setup.py中的编译参数即可解决。
用户名密码认证模式： 支持OBS管理、数据管理、训练管理、模型管理、服务管理的鉴权。 用户AK-SK认证模式： 支持OBS管理、数据管理、训练管理、模型管理、服务管理的鉴权。 用户名密码认证模式 本地安装完成ModelArts SDK后，可通过用户名密码认证模式进行Session鉴权。示例代码如下：
run”中，修改“log_dir”参数，并新增“checkpoint_path”参数。其中“log_dir”参数建议设置为一个新的目录，“checkpoint_path”参数设置为上一次训练结果输出路径，如果是OBS目录，路径填写时建议使用“obs://”开头。 如果标注数据中的标签发生了变化，在运行“mox
运行实例 图3 线上Notebook入口 ModelArts Lite DevServer 开通裸金属服务器资源请见DevServer资源开通，在裸金属服务器上搭建迁移环境请见裸金属服务器环境配置指导。 父主题： GPU推理业务迁移至昇腾的通用指导
设置动态分档的挡位，根据实际情况设置，另外请不要设置挡位1 export VLLM_ENGINE_ITERATION_TIMEOUT_S=900 # 设置vllm请求超时时间 图模式主要针对小模型的场景，可减少算子下发的瓶颈，目前仅针对Qwen2-1.5B进行验证。 开启图模式后，服务第一次响应
参数 是否必选 参数类型 描述 offset 否 Integer 查询作业的页数，最小为0。例如设置为0，则表示从第一页开始查询。 limit 否 Integer 查询作业的每页条目数。最小为1，最大为50。 sort_by 否 String 查询作业排列顺序的指标。默认使用create_time排序。
重新启动镜像激活SFS盘中的虚拟环境 保存并共享虚拟环境 前提条件 创建一个Notebook，“资源类型”选择“专属资源池”，“存储配置”选择“SFS弹性文件服务器”，打开terminal。 创建新的虚拟环境并保存到SFS目录 创建新的conda虚拟环境。 # shell conda create --prefix
委托名称前缀固定为ma_agency。 如该字段为iam-user01，则创建出来的委托名称为ma_agency_iam-user01。 默认为空，表示创建名称为modelarts_agency的委托。 响应参数 无 请求示例 创建ModelArts委托。设置委托名称后缀为“iam-user01”。 POST
Face权重文件以及训练代码都需要上传至SFS Turbo中。而基于SFS Turbo所执行的训练流程如下： 将SFS Turbo挂载至ECS服务器后，可直接访问SFS Turbo。通过SSH连接ECS将代码包上传至SFS Turbo中。 在表1获取基础镜像，随后通过镜像方案说明中的步骤执行代码包中llm_t
调用MaaS部署的模型服务 在ModelArts Studio大模型即服务平台部署成功的模型服务支持在其他业务环境中调用。 约束限制 只有“状态”是“运行中”的模型服务才支持被调用。 步骤1：获取API Key 在调用MaaS部署的模型服务时，需要填写API Key用于接口的鉴权认证。
推理支持最小卡数和最大序列说明。此处举例为1，表示使用单卡启动服务。 --block-size：kv-cache的block大小，推荐设置为128。当前仅支持64和128。 --num-scheduler-steps: 默认为1，推荐设置为8。用于mult-step调度。每次调度
workspace_id String 工作空间ID。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 请求示例 注册自定义镜像。设置镜像支持的规格为“CPU”，支持的处理器架构类型为“X86_64”。 { "description" : "", "resource_category"
quit) Step4 请求推理服务 另外启动一个terminal，使用命令测试推理服务是否正常启动，端口请修改为启动服务时指定的端口。 使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见表1。 方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${d
禁止VS Code自动升级。单击左下角选择Settings项，搜索Update: Mode，将其设置为none。 图1 打开Settings 图2 设置“Update: Mode”为“none” 父主题： VS Code连接开发环境失败故障处理
error_msg String 具体错误信息。 请求示例 创建专属资源池。设置资源类型为“Pool”，资源池名称为“pool-001”，资源池类型为“Dedicate”（物理资源池），资源池支持的作业类型为“训练作业”。 POST https://{endpoint}/v2/{project_id}/pools
PuTTY时就可以单击保存的任务名称，即可打开远程连接。 图3 设置Session 选择“Window > Translation”，在“Remote character set:”中选择“UTF-8”。 图4 设置字符格式 选择“Connection > Data”， 在“Auto-login
按需配置。 边缘服务 CES ces:metricData:list 查看服务的监控指标。 按需配置。 IEF IEF Administrator 管理边缘服务。 按需配置。 创建自定义策略时，建议将项目级云服务和全局级云服务拆分为两条策略，便于授权时设置最小授权范围。 委托 表3 部署上线所需委托
quit) Step4 请求推理服务 另外启动一个terminal，使用命令测试推理服务是否正常启动，端口请修改为启动服务时指定的端口。 使用命令测试推理服务是否正常启动。服务启动命令中的参数设置请参见表1。 方式一：通过OpenAI服务API接口启动服务使用以下推理测试命令。${d
展示模型创建过程中的关键操作进展。 事件保存周期为3个月，3个月后自动清理数据。 查看模型的事件类型和事件信息，请参见查看ModelArts模型事件 使用约束 根据创建模型时的设置，显示部署服务的使用约束，如请求模式、启动命令、模型加密等。对于异步请求模式的模型，可显示输入模式、输出模式、服务启动参数和作业配置参数等参数。
禁止VS Code自动升级。单击左下角选择Settings项，搜索Update: Mode，将其设置为none。 图1 打开Settings 图2 设置“Update: Mode”为“none” 父主题： VS Code连接开发环境失败常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
