检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务启动失败,提示资源不足,服务调度失败,请参考服务部署、启动、升级和修改时,资源不足如何处理? 内存不足 服务启动失败,提示内存不足,请参考内存不足如何处理? 父主题: 服务部署
推理代码编写说明。 模型从AI Gallery中获取的:请查看AI Gallery中的调用说明或者咨询该模型的提供方。 建议与总结 无 父主题: Standard推理部署
删除Workflow后,对应的训练作业和在线服务不会随之被删除,需要分别在“模型训练>训练作业”和“模型部署>在线服务”页面中手动删除任务。 父主题: 管理Workflow
描述 204 添加标签成功。 400 参数非法。 401 鉴权失败。 403 权限不足。 404 资源未找到。 错误码 请参见错误码。 父主题: 服务管理
201 Created 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 数据管理(旧版)
"unit_en" : "minute" } ] } 状态码 状态码 描述 200 查询工作空间配额成功的响应参数。 错误码 请参见错误码。 父主题: 工作空间管理
启动推理服务,启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16 父主题: 推理模型量化
ModelName块:该模型所需配置的参数,如qwen2.5-7b块 样例截图如下: 开始训练测试,具体步骤参考训练性能测试或训练精度测试,根据实际情况决定。 父主题: 训练benchmark工具
性能结果 LLaMAFactory_train_performance_benchmark_<版本号>_<时间戳>.xlsx 表格样例如下: 父主题: 训练benchmark工具
启动推理服务,启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16 父主题: 推理模型量化
启动推理服务,启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16 父主题: 推理模型量化
启动推理服务,启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16 父主题: 推理模型量化
抽取kv-cache量化系数生成的json文件路径; 如果只测试推理功能和性能,不需要此json文件,此时scale系数默认为1,但是可能会造成精度下降。 父主题: 推理模型量化
启动推理服务,启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16 父主题: 推理模型量化
抽取kv-cache量化系数生成的json文件路径; 如果只测试推理功能和性能,不需要此json文件,此时scale系数默认为1,但是可能会造成精度下降。 父主题: 推理模型量化
#原始权重与tokenizer目录,需要用户手动创建,后续操作步骤中会提示 |── llama2-13b-hf 父主题: 准备工作
Integer 分页列表的起始页,默认为0。 limit 否 Integer 指定每一页返回的最大条目数,取值范围[1,100],默认为10。 父主题: 数据集管理
Notebook中使用MoXing接口时,可直接调用接口,无需下载或安装SDK,使用限制比ModelArts SDK和OBS SDK少,非常便捷。 父主题: AI开发基础知识
AppSecret is invalid”。 查询AppKey和AppSecret,使用APP认证访问在线服务,请参考访问在线服务(APP认证)。 父主题: 服务预测
tamp=1697620658.6282516”。 原因:Moxing版本太低。 处理建议:联系技术支持将Moxing版本升级至2.1.6及以上版本。 父主题: 训练作业运行失败