检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
抽取kv-cache量化系数生成的json文件路径; 如果只测试推理功能和性能,不需要此json文件,此时scale系数默认为1,但是可能会造成精度下降。 父主题: 推理模型量化
"Backend unavailable", "error_code": "APIG.0202" 该报错信息需要检查dispatcher实例是否正常。 父主题: Standard推理部署
Code,重新从Notebook实例列表页面打开VS Code(注意:需要关闭本地vscode,不然可能会报多个安装进程正在运行中)。 父主题: VS Code使用技巧
dependencies 使用VSCode-huawei,报错:我们卸载了‘ms-vscode-remote.remot-sdh’,它被报告存在问题 父主题: 开发环境
22d8a4b204", "enable" : true } 状态码 状态码 描述 200 返回调度信息。 错误码 请参见错误码。 父主题: Workflow工作流管理
"Error string", "error_code": "ModelArts.0105" } 状态码 状态码请参见状态码。 父主题: 训练作业
"Invalid token." } 状态码 状态码 描述 200 获取推理VPC访问通道信息。 401 鉴权失败 错误码 请参见错误码。 父主题: 服务管理
"Error string", "error_code": "ModelArts.0105" } 状态码 状态码请参见状态码。 父主题: 训练作业参数配置
"error message", "error_code": "ModelArts.0103" } 状态码 状态码请参见表1。 父主题: 可视化作业
状态码 描述 200 OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 开发环境管理
面。您可以单击页面右上角“重启”,重启在线服务。 部署方式为ModelArts边缘节点和ModelArts边缘资源池的服务不支持重启。 父主题: 管理批量推理作业
matmul、swiglu、rope等算子性能提升,支持vllm推理场景 新增random随机数算子,优化FFN算子,满足AIGC等场景 无 父主题: 产品发布说明
llm_train/AscendSpeed/saved_dir_for_output/llama2-13b 训练完成后保存的权重路径。 父主题: 训练脚本说明
"**"]) 在给Workflow资产添加或删除指定白名单用户列表时,会自动查询该版本依赖的算法资产信息,同步对算法资产进行相应的白名单设置。 父主题: 发布Workflow
-1, -1, -1, -1, -1, -1, -1 ] } ] } 状态码 状态码 描述 200 ok 错误码 请参见错误码。 父主题: 训练管理
"error_message": "Error string", "error_code": "ModelArts.0105" } 状态码 状态码请参见表1。 父主题: 资源和引擎规格接口
抽取kv-cache量化系数生成的json文件路径; 如果只测试推理功能和性能,不需要此json文件,此时scale系数默认为1,但是可能会造成精度下降。 父主题: 推理模型量化
https://e8a048ce25136addbbac23ce6132a.apig.cn-east-3.huaweicloudapis.com 父主题: Standard推理部署
ed_for_ma_input/GLM3-6B/converted_weights目录下查看转换后的权重文件。 图1 转换后的权重文件 父主题: SFT全参微调训练
String 操作类型,取值deploy/delete。 result Boolean 操作结果,true代表成功,false表示操作失败。 父主题: 服务管理