检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置授权 功能介绍 配置ModelArts授权。若没有授权，ModelArts训练管理、开发环境、数据管理、在线服务等功能将不能正常使用。该API支持管理员给IAM子用户设置委托，支持设置当前用户的访问密钥。调用该API需要在IAM系统里配置Security Administrator权限。
查询OS的配置参数 功能介绍 获取ModelArts OS服务的配置参数，如网络网段，用户资源配额等。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1
解除API对APP的授权 功能介绍 解除指定的API对APP的授权，请求用户对API所属服务必须有更新权限。同URL：/v1/{project_id}/app-auth/{service_id}/apis/{api_id}/auths 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
删除API 功能介绍 删除指定的API，只有对API所属服务有删除权限的用户才可以删除API。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v1/
print(outputs[0].outputs[0].text) MODEL_NAME表示对应模型路径。 在线推理使用Guided Decoding 启动推理服务请参考启动推理服务章节。 在线推理使用Guided Decoding时，在发送的请求中包含上述guided_json架构，具体示例可参考以下代码。 curl
本章节介绍基于VS Code环境访问Notebook的方式。 前提条件 已下载并安装VS Code。详细操作请参考安装VS Code软件。 用户本地PC或服务器的操作系统中建议先安装Python环境，详见VSCode官方指导。 创建一个Notebook实例，并开启远程SSH开发。该实例状态必须处
Notebook云上云下，无缝协同，更多关于ModelArts Notebook的详细资料请查看开发环境介绍。本案例中使用ModelArts的开发环境Notebook部署推理服务进行调试，请按照以下步骤完成Notebook的创建。 登录ModelArts控制台，在贵阳一区域，进入开发环境的Notebook界面，单击
benchmark_parallel.csv 参数说明： --backend：服务类型，支持tgi、vllm、mindspore等。本文档使用的推理接口是vllm。 --host：服务IP地址，如127.0.0.1。 --port：服务端口，和推理服务端口8080。 --url：API接口公网地址与"/v
除对应的版本。 如果模型的版本已经部署服务，需先删除关联的服务后再执行删除操作。版本删除后不可恢复，请谨慎操作。 删除模型 在“模型管理”页面，单击模型“操作”列的“删除”，即可删除对应的模型。 如果模型的版本已经部署服务，需先删除关联的服务后再执行删除操作。模型删除后不可恢复，请谨慎操作。
conf sysctl -p | grep net.ipv4.ip_forward 步骤二 获取训练镜像 建议使用官方提供的镜像部署训练服务。镜像地址{image_url}参见镜像地址获取。 docker pull {image_url} 步骤三 启动容器镜像 启动容器镜像前请
查询OS的配额 功能介绍 获取ModelArts OS服务中部分资源的配额，如资源池配额、网络配额等。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1
在ModelArts中同一个账户，图片展示角度不同是为什么？ 有的图片存在旋转角度等属性，不同的浏览器的处理策略不同，对浏览器的兼容性如表1和表2所示。 L代表last，L3-产品版本上线时最新的3个稳定浏览器版本。 如果您当前使用的浏览器版本过低，将在一定程度上影响页面的显示效果，系统会提示您尽快对浏览器进行升级。
离线训练安装包准备说明 申请的模型软件包一般依赖连通网络的环境。若用户的机器或资源池无法连通网络，并无法git clone下载代码、安装python依赖包的情况下，用户则需要找到已联网的机器（本章节以Linux系统机器为例）提前下载资源，以实现离线安装。用户可遵循以下步骤操作。 步骤一：资源下载
节点的CPU、GPU、NPU资源使用情况。具体请参见训练资源监控章节。 在线服务：用户将模型部署为在线服务后，可以通过监控功能查看CPU、内存、GPU等资源使用统计信息和模型调用次数统计，具体参见查看服务详情章节。 父主题： ModelArts Standard资源监控
-e . 开启图模式后，服务第一次响应请求时会有一个较长时间的图编译过程，并且会在当前目录下生成.torchair_cache文件夹来保存图编译的缓存文件。当服务第二次启动时，可通过缓存文件来快速完成图编译的过程，避免长时间的等待，并且基于图编译缓存文件来启动服务可获得更优的推理性能
默认为1。 service_name：服务名称，保存评测结果时创建目录，示例为：qwen-14b-test。 eval_dataset：评测使用的评测集（枚举值），目前仅支持mmlu、ceval。 service_url：服务接口地址，若服务部署在notebook中，该地址为"http://127
自定义镜像训练作业失败定位思路 问题现象 使用自定义镜像训练作业时，训练失败。 定位思路 确定镜像来源 确认该自定义镜像的基础镜像是否来源于ModelArts提供的基础镜像，推荐用户使用ModelArts的基础镜像构建自定义镜像，具体请参见使用ModelArts的基础镜像构建新的训练镜像。
Standard资源池，提供了在使用ModelArts进行AI开发（包括自动学习、创建Workflow工作流、创建Notebook实例、创建训练作业和创建推理服务）所需的计算资源，您可根据需要购买使用Standard资源池。 图1 在AI开发时使用Standard资源池 ModelArts Standard资源池说明
动态shape 在某些推理场景中，模型输入的shape可能是不固定的，因此需要支持用户指定模型的动态shape，并能够在推理中接收多种shape的输入。在CPU上进行模型转换时无需考虑动态shape问题，因为CPU算子支持动态shape；而在Ascend场景上，算子需要指定具体的
登录ModelArts管理控制台，在“总览”页中，单击“购买套餐包”，进入“购买套餐包”页面。可根据需要，自行购买适用规格的套餐包。 适用场景 ModelArts服务支持购买套餐包，根据用户选择使用的资源不同进行收费。您可以根据业务需求选择使用不同规格的套餐包。 ModelArts提供了AI全流程开发的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
