检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/home/ma-user/miniconda3 # 设置容器镜像预置环境变量 # 请务必设置 PYTHONUNBUFFERED=1, 以免日志丢失 ENV PATH=$PATH:/home/ma-user/miniconda3/bin \ PYTHONUNBUFFERED=1 # 设置容器镜像默认用户与工作目录
ModelArts SDK下载文件目标路径设置为文件名，部署服务时报错 问题现象 ModelArts SDK在OBS下载文件时，目标路径设置为文件名，在本地IDE运行不报错，部署为在线服务时报错。 代码如下： session.obs.download_file（obs_path,
权限配置 权限列表 为了便于理解权限相关内容，建议先阅读ModelArts权限管理基本概念。 表1 服务授权列表 待授权的服务 适用场景 ModelArts 授予子用户使用ModelArts服务的权限。 ModelArts CommonOperations没有任何专属资源池的创建
表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 否 String 消息体的类型。设置为text/plain，返回临时预览链接。设置为application/octet-stream，返回临时下载链接。 响应参数 状态码：200 表3 响应Body参数
设置场景类别和数据处理类型 设置输入与输出。需根据实际数据情况选择“数据集”或“OBS目录”。设置为“数据集”时，需填写“数据集名称”和“数据集版本”；设置为“OBS目录”时，需填写正确的OBS路径。 图2 输入输出设置-数据集 图3 输入输出设置-OBS目录 确认参数填写无误后，单击“创建”，完成数据处理任务的创建。
parquet #预训练数据 |──{output_dir} #{OUTPUT_SAVE_DIR}或yaml文件{output_dir}参数设置值 # 自动生成数据目录结构 |── preprocessed_data |──conv
|──AscendSpeed # 基于AscendSpeed的训练代码 工作目录介绍 详细的工作目录参考如下，建议参考以下要求设置工作目录。 ${workdir}（例如/home/ma-user/ws ） |──llm_train
INFERENCE: 建议仅在推理部署场景使用。 TRAIN: 建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 size Long 镜像大小（单位KB）。 status String 镜像状态。枚举值如下： INIT：初始化。
host：与起服务的host保持一致，比如起服务为0.0.0.0,host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、ceval等判别式回答时，max_out_len建议设置小一些，比如16。在运行human_ev
host：与起服务的host保持一致，比如起服务为0.0.0.0，host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、ceval等判别式回答时，max_out_len建议设置小一些，比如16。在运行human_ev
host：与起服务的host保持一致，比如起服务为0.0.0.0,host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、ceval等判别式回答时，max_out_len建议设置小一些，比如16。在运行human_ev
host：与起服务的host保持一致，比如起服务为0.0.0.0,host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、ceval等判别式回答时，max_out_len建议设置小一些，比如16。在运行human_ev
host：与起服务的host保持一致，比如起服务为0.0.0.0,host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、ceval等判别式回答时，max_out_len建议设置小一些，比如16。在运行human_ev
k。 SSH：可以通过SSH协议远程连接Notebook。 ssh_keys Array of strings SSH密钥对名称列表，允许设置多个密钥对实现同时对SSH实例的访问。 service String 访问Notebook的途径，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook。
processed_data_dir /home/ma-user/ws/xxx 已处理好数据路径目录，如有处理完成数据可设置此参数 权重文件、输出目录及其他重要参数设置,详解如下： 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/llm
k。 SSH：可以通过SSH协议远程连接Notebook。 ssh_keys Array of strings SSH密钥对名称列表，允许设置多个密钥对实现同时对SSH实例的访问。 service String 访问Notebook的途径，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook。
在模型转换的过程，如果出现模型转换失败，可以参考以下步骤查看日志并定位原因： 设置DEBUG日志。 设置MindSpore日志环境变量。 # shell export GLOG_v=0 # 0-DEBUG、1-INFO、2-WARNING、3-ERROR 设置CANN日志环境变量。 # shell export
者环境变量中密文存放，使用时解密，确保安全； # 本示例以password保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_PASSWORD。 __PASSWORD = os.environ["HUAWEICLOUD_SDK_PASSWORD"]
VLLM_ENGINE_ITERATION_TIMEOUT_S=600 # PYTORCH_NPU_ALLOC_CONF优先设置为expandable_segments:True # 如果有涉及虚拟显存相关的报错，可设置为expandable_segments:False export PYTORCH_NPU_
Serve_from_sub_path设置为true 保存Notebook镜像。 进入Notebook控制台，单击“开发空间 > Notebook”，在Notebook实例列表里找到对应的实例，选择“更多 > 保存镜像”。 在保存镜像对话框中，设置组织、镜像名称、镜像版本和描述信息。单击“确定”保存镜像。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
