检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启动推理服务,启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16 父主题: 推理模型量化
cn-southwest-2.myhuaweicloud.com/ma-group/pytorch_2_1_ascend:20240606 父主题: 准备镜像
ModelName块:该模型所需配置的参数,如qwen2.5-7b块 样例截图如下: 开始训练测试,具体步骤参考训练性能测试或训练精度测试,根据实际情况决定。 父主题: 训练benchmark工具
性能结果 LLaMAFactory_train_performance_benchmark_<版本号>_<时间戳>.xlsx 表格样例如下: 父主题: 训练benchmark工具
cn-southwest-2.myhuaweicloud.com/ma-group/pytorch_2_1_ascend:20240606 父主题: 准备镜像
启动推理服务,启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16 父主题: 推理模型量化
启动推理服务,启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16 父主题: 推理模型量化
启动推理服务,启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant --dtype=float16 父主题: 推理模型量化
抽取kv-cache量化系数生成的json文件路径; 如果只测试推理功能和性能,不需要此json文件,此时scale系数默认为1,但是可能会造成精度下降。 父主题: 推理模型量化
步到最终结果,不支持单独分离操作。 图1 当前账号添加成员 图2 其他账号添加成员 成员添加完成后,团队详情区域中将呈现此成员的信息。 父主题: 通过团队标注方式标注数据
训练作业”。 在训练作业列表中,单击作业名称进入训练作业详情页面。 在训练作业详情页面,单击“事件”页签查看事件信息。 图1 查看事件信息 父主题: 管理模型训练作业
删除Workflow后,对应的训练作业和在线服务不会随之被删除,需要分别在“模型训练>训练作业”和“模型部署>在线服务”页面中手动删除任务。 父主题: 管理Workflow
输入数据的映射类型,取值为:file或csv。 mapping_rule Map 输入参数与csv数据的映射关系,仅当mapping_type为csv时,会返回。 父主题: 服务管理
请确认操作Notebook的账号有权限读取OBS桶中的数据。如没有权限,请参见在Notebook中,如何访问其他账号的OBS桶?。 父主题: 文件上传下载
缩小预测请求数量看是否问题还复现,如果不复现是因为负载过大导致服务进程退出,需要扩容实例数量或者提升规格。 推理代码本身存在错误,请排查推理代码解决。 父主题: 服务预测
描述 200 OK 204 No Content 401 Unauthorized 403 Forbidden 错误码 请参见错误码。 父主题: 开发环境管理
状态码 描述 200 OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: APP认证管理
labeling", "status" : "hold" } ] } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: Workflow工作流管理
查询工作空间列表成功的响应参数。 400 BadRequest 403 Forbidden 500 InternalServerError 错误码 请参见错误码。 父主题: 工作空间管理
状态码 描述 200 OK 401 Unauthorized 403 Forbidden 404 Not Found 错误码 请参见错误码。 父主题: 数据管理(旧版)