AI开发平台MODELARTS-分离部署推理服务:步骤三 上传代码包和权重文件

时间:2024-11-12 16:42:39

步骤三 上传代码包和权重文件

  1. 上传安装依赖软件推理代码AscendCloud-LLM-6.3.909-xxx.zip和算子包AscendCloud-OPP-6.3.909-xxx.zip到主机中,包获取路径请参见表2
  2. 将权重文件上传到DevServer机器中。权重文件的格式要求为Huggingface格式。开源权重文件获取地址请参见表3

    如果使用模型训练后的权重文件进行推理,模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。

    3.权重要求放在磁盘的指定目录,并做目录大小检查,参考命令如下:

    df -h
support.huaweicloud.com/bestpractice-modelarts/modelarts_llm_infer_90904.html