AI开发平台MODELARTS-准备代码:上传代码到工作环境

时间:2024-11-05 09:54:19

上传代码到工作环境

  1. 使用root用户以SSH的方式登录DevServer。
  2. 将AscendSpeed代码包AscendCloud-3rdLLM-xxx-xxx.zip上传到${workdir}目录下并解压缩,如:/home/ma-user/ws目录下,以下都以/home/ma-user/ws为例。
    unzip AscendCloud-3rdLLM-xxx-xxx.zip  #解压缩,-xxx-xxx表示软件包版本号和时间戳
  3. 上传tokenizers文件到工作目录中的/home/ma-user/ws/tokenizers/BaiChuan2-13B目录。

    具体步骤如下:

    进入到${workdir}目录下,如:/home/ma-user/ws。

    cd /home/ma-user/ws
    mkdir -p tokenizers/BaiChuan2-13B

    将 权重和词表文件 文件放置此处。

  4. 修改tokenizer目录下tokenization_baichuan.py中约71行内容。

    调整 super().__init__()位置:将super().__init__()放置def __init__()方法最底层,如下图所示。

    图1 修改tokenization_baichuan.py
support.huaweicloud.com/bestpractice-modelarts/modelarts_10_1914.html