检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
联系您所在企业的华为方技术支持。 提示：本文档适用于OBS+SFS Turbo的数据存储方案，不适用于仅OBS存储方案。通过OBS对象存储服务（Object Storage Service）与SFS Turbo文件系统联动，可以实现灵活数据管理、高性能读取等。 约束限制 如果要使
溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置：输入用户在Notebook中创建的“子目录挂载” 图3
get_spec_list(session=session) 参数session即是1初始化的数据。返回的是一个字典，其中flavors值是一个列表，描述了训练服务支持的所有规格的信息。每个元素中flavor_id是可直接用于远程训练任务的计算规格，max_num是该规格的最大节点数。如果用户知道要使用的计算规格，可以略过这一步。
创建文件夹model/llama-2-13b-hf。 利用OBS Browser+工具将下载的模型文件上传至创建的文件夹目录下。 在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账号
创建文件夹model/llama-2-13b-hf。 利用OBS Browser+工具将下载的模型文件上传至创建的文件夹目录下。 在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账号
创建文件夹model/llama-2-13b-hf。 利用OBS Browser+工具将下载的模型文件上传至创建的文件夹目录下。 在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账号
Notebook自定义镜像制作流程 图1 Notebook自定义镜像制作流程图（适用于场景一和场景二） 场景一：基于Notebook预置镜像或第三方镜像，在服务器上配置docker环境，编写Dockerfile后构建镜像并注册，具体案例参考在ECS上构建自定义镜像并在Notebook中使用 场景二
创建文件夹model/llama-2-13b-hf。 利用OBS Browser+工具将下载的模型文件上传至创建的文件夹目录下。 在ECS服务器中安装obsutil工具，具体命令可参考obsutil工具快速使用，将OBS桶中的数据下载至SFS Turbo中。注意：需要使用用户账号
选择用户自己的专属资源池，以及规格与节点数。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/data 存储位置：输入用户的“子目录挂载”路径。如果默认没有填写，则忽略。
溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置：输入用户在Notebook中创建的“子目录挂载” 图3
发布数据集到AI Galley参数说明 参数 说明 资产标题 在AI Gallery显示的资产名称。 来源 可选择“ModelArts”、“对象存储服务（OBS）”、“本地上传”。 ModelArts区域 选择当前控制台所在的区域。 OBS区域 选择与当前控制台一致的区域。 存储位置 用来存储发布的资产。
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step3 创建服务启动脚本 python -m vllm.entrypoints.openai.api_server --model <your_model>
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step6 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考步骤六 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step3 创建服务启动脚本 python -m vllm.entrypoints.openai.api_server --model <your_model>
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考步骤六 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step3 启动推理服务 python -m vllm.entrypoints.openai.api_server --model <your_model> --quantization
溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置：输入用户在Notebook中创建的“子目录挂载” 图3
溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/ 存储位置：输入用户在Notebook中创建的“子目录挂载” 图3
false } 2. 启动vLLM，如果是使用命令行的方式，指定--quantization "gptq"参数，其他参数请参考Step3 创建服务启动脚本 python -m vllm.entrypoints.openai.api_server --model <your_model>
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
