检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CANN cann_8.0.rc2 PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.906-xxx.zip软件包中的AscendCloud-AIGC-6.3.906-xxx.zip 说明：
Standard推理镜像 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6.3.908-xxx.zip和算子包AscendCloud-OPP-6.3.908-xxx.zip。 unzip
--save_steps=5 --max_steps 100 <cfgs_yaml_file>：性能或精度测试配置的yaml文件地址，如代码目录中performance_cfgs.yaml、accuracy_cfgs.yaml相对或绝对路径，根据自己要求执行 <model_name>：训练模型名，如qwen2-7b
/home/ma-user/AscendFactory/data 【可选】 代码自带数据：如identity等地址为AscendFactory/third-party/LLaMA-Factory/data目录下； 自定义数据：地址为代码包AscendFactory/data目录下 template
平均可以生成3个有效token，即用1.5倍的时间代价，生成了3倍的token数量，性能提升了100%。 投机推理参数设置 在启动离线或在线推理服务时参考表1所示配置参数，使用投机推理功能。 表1 投机推理相关参数 服务启动方式 配置项 取值类型 配置说明 offline speculative_model
平均可以生成3个有效token，即用1.5倍的时间代价，生成了3倍的token数量，性能提升了100%。 投机推理参数设置 在启动离线或在线推理服务时参考表1所示配置参数，使用投机推理功能。 表1 投机推理相关参数 服务启动方式 配置项 取值类型 配置说明 offline speculative_model
"category": "Brainstorming" } 如果用户希望将MOSS数据集的Excel格式转换为.json 格式。可使用代码中提供的scripts/tools/ExcelToJson.py工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx .csv
"category": "Brainstorming" } 若用户希望将MOSS数据集的Excel 格式转换为.json格式。可使用代码中提供的scripts/tools/ExcelToJson.py工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx .csv
"category": "Brainstorming" } 如果用户希望将MOSS数据集的Excel格式转换为.json 格式。可使用代码中提供的 scripts/tools/ExcelToJson.py 工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx
"category": "Brainstorming" } 如果用户希望将MOSS数据集的Excel格式转换为.json 格式。可使用代码中提供的scripts/tools/ExcelToJson.py工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx .csv
"category": "Brainstorming" } 如果用户希望将MOSS数据集的Excel格式转换为.json格式。可使用代码中提供的scripts/tools/ExcelToJson.p 工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx .csv
接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/notebooks 表1 路径参数 参数 是否必选 参数类型
"category": "Brainstorming" } 如果用户希望将MOSS数据集的Excel 格式转换为.json 格式。可使用代码中提供的scripts/tools/ExcelToJson.py工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx .csv
获取模型软件包，并上传到机器SFS Turbo的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6.3.910-xxx.zip，并直接进入到llm_inference/ascend_vllm文件夹下面 unzip
"category": "Brainstorming" } 如果用户希望将MOSS数据集的Excel格式转换为.json 格式。可使用代码中提供的scripts/tools/ExcelToJson.py工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx .csv
"category": "Brainstorming" } 若用户希望将MOSS数据集的Excel格式转换为.json 格式。可使用代码中提供的scripts/tools/ExcelToJson.py工具，其转换的要求为： 本脚本可以处理的格式有：.xls .xlsx .csv
日志数据进行挂载。挂载方式建议使用rclone工具。 下载安装rclone。 首先配置访问OBS所需凭据： # 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； # 本示例以ak和sk保存在环境变量中来实
获取模型软件包，并上传到机器SFS Turbo的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6.3.911-xxx.zip和算子包AscendCloud-OPP-6.3.911-xxx.zip，并直
task timeout. The %s-minute limit is over. imagePacker构建镜像有超时时间限制，请精简代码，提高编译效率。FAQ 正常 模型描述已更新。 Model description updated. - 正常 模型运行时依赖未更新。 Model
建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。 docker pull {image_url} 步骤三 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.910-xxx.zip和算子包AscendCloud-OPP-6.3.910-xxx
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
