检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 描述 error_code String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 https://{endpoint}/v1/{project_id}/services/a55eba18-1ebf-4e9a-8229-d2d3b593a3dc/tags/delete
"api_remark" : "string", "auth_type" : "APP", "predict_url" : "https://3565150c2e5c45d0989be40350dd80ed.apig.xxxxxx.com/test", "service_id"
定时调度策略中的标记,失败时触发。 on_running String 定时调度策略中的标记,running时触发。 请求示例 更新调度信息 PUT https://{endpoint}/v2/{project_id}/workflows/{workflow_id}/schedules/fa4a
请求是否成功。 请求示例 如下以查询“job_id”为10,“version_id”为10,文件名为“log1.log”的日志为例。 GET https://endpoint/v1/{project_id}/training-jobs/10/versions/10/aom-log?log_file=log1
主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.905) 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 父主题: LLM大语言模型训练推理
peer-memory四个软件。 但是如果nvidia和cuda是使用runfile(local)方式安装的,那么需要在下一步中再次卸载。 若使用nvidia run包直接安装的驱动,需要找到对应的卸载命令。 sudo /usr/bin/nvidia-uninstall sudo
WEBUI套件适配PyTorch NPU的推理指导(6.3.907) SD WebUI推理方案概览 在DevServer上部署SD WebUI推理服务 在Standard上部署SD WebUI推理服务 SD WebUI推理性能测试 父主题: AIGC模型训练推理
low工作流、停止因运行Workflow工作流而创建的训练作业和部署的服务。同时,也需清理存储到OBS中的数据。 自动学习:自动学习运行时会收取费用,使用完请及时停止自动学习、停止因运行自动学习而创建的训练作业和部署的服务。同时,也需清理存储到OBS中的数据。 Notebook实例:
但是达不到预期,可能是nv_peer_mem异常。 处理方法 查看nv_peer_mem是否已安装。 dpkg -i | grep peer 若未安装则需要安装,安装方法参考装机指导。 若已安装则进入下一检测项。 查看该软件是否已经加载至内核。 lsmod | grep peer 若
请参见Ascend应用样例。 模型训练:ModelArts中支持使用Snt9、Snt9B训练模型。 模型推理:在ModelArts中将模型部署上线为在线服务时,支持使用Snt3、Snt3P、Snt9、Snt9B规格资源进行模型推理。 父主题: 一般性问题
使用AWQ量化工具转换权重 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法:W4A16 per-group/per-channel
数据标注 ModelArts标注的数据存储在OBS中。 自动训练 训练作业结束后,其生成的模型存储在OBS中。 部署上线 ModelArts将存储在OBS中的模型部署上线为在线服务。 AI全流程开发 数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。
JupyterLab中文件保存失败,如何解决? 问题现象 JupyterLab中保存文件时报错如下: 原因分析 浏览器安装了第三方插件proxy进行了拦截,导致无法进行保存。 在Notebook中的运行文件超过指定大小就会提示此报错。 jupyter页面打开时间太长。 网络环境原因,是否有连接网络代理。
主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.910) 场景介绍 准备工作 在Notebook调试环境中部署推理服务 在推理生产环境中部署推理服务 推理精度测试 推理性能测试 推理模型量化 附录:基于vLLM不同模型推理支持最小卡数和最大序列说明 附录:Standard大模型推理常见问题
用户名,当user_id为all-users时,显示为所有用户。 create_time Long 创建时间戳。 请求示例 查看授权列表 GET https://{endpoint}/v2/{project_id}/authorizations 响应示例 状态码: 200 OK { "total_count"
如下以查询uuid为2cd88daa-31a4-40a8-a58f-d186b0e93e4f的训练作业对应worker-0镜像保存任务为例。 GET https://endpoint/v2/{project_id}/training-jobs/2cd88daa-31a4-40a8-a58f-d1
超参搜索算法的参数取值。 type String 超参搜索算法的参数类型。 请求示例 查询0代码超参搜索支持的搜索算法的信息。 GET https://endpoint/v2/{project_id}/search-algorithms 响应示例 状态码: 200 ok { "search_algo_count"
面向熟悉代码编写和调测的AI工程师 ModelArts Standard推理部署 使用Standard一键完成商超商品识别模型部署 本案例以“商超商品识别”模型为例,介绍从AI Gallery订阅模型,一键部署到ModelArts Standard,并进行在线推理预测的体验过程。 面向AI开发零基础的用户
可能系统资源不足、如内存不足、内存泄露。 硬件故障、如IB网络或者GPU互联设备故障等。 没安装nvidia-fabricmanager组件或被误卸载。 处理方法 若未安装fabricmanager,则需安装改组件。 若已安装fabricmanager,运行以下命令重启fabricmanager.service。
工作空间 ModelArts的用户需要为不同的业务目标开发算法、管理和部署模型,此时可以创建多个工作空间,把不同应用开发过程的输出内容划分到不同工作空间中,便于管理和使用。 工作空间支持3种访问控制: PUBLIC:租户(主账号和所有子账号)内部公开访问。 PRIVATE:仅创建者和主账号可访问。