检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件路径在：ModelLink/modellink/data/data_handler.py。
文件路径在：ModelLink/modellink/data/data_handler.py。
文件路径在：ModelLink/modellink/data/data_handler.py。
例如mmlu，可以修改文件 opencompass/configs/datasets/mmlu/mmlu_ppl_ac766d.py 中的 fix_id_list, 将最大值适当调低。
支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表3所示。
/bin/bash ##认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
conda create --name awq --clone PyTorch-2.1.0 conda activate awq 2、运行“examples/quantize.py”文件进行模型量化，量化时间和模型大小有关，预计30分钟~3小时。
“job_config”字段下的“code_dir”和“boot_file”分别为算法的代码目录和代码启动文件。代码目录为代码启动文件的一级目录。 “job_config”字段下的“inputs”和“outputs”分别为算法的输入输出管道。
当模型是用户通过训练作业或OBS模型文件部署时，此值为空。 model_type String 模型类型，取值为：TensorFlow/MXNet/Spark_MLlib/Scikit_Learn/XGBoost/MindSpore/Image/PyTorch。
请勿打印无用的audio日志文件，这会导致系统日志卡死，无法正常显示日志，可能会出现“Failed to load audio”的报错。 您可以进入批量服务的详情页面，通过切换页签查看更多详细信息，详情说明请参见表2。
软件包结构说明 本教程需要使用到的AscendCloud-6.3.912中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。
/bin/bash ##认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
Standard推理的创建模型 创建模型时导入OBS文件，最大支持20GB。更多信息，请参见创建AI应用。 创建模型时，系统文件超过容器引擎空间大小时，会提示镜像内空间不足。
支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。
您需要编写对应的推理代码和配置文件，方便后续进行推理部署。 说明：由于使用预置算法训练得到的模型，已包含了推理代码和配置文件，所以无需另外编写提供。 模型包规范介绍 订阅模型 ModelArts支持统一管理从AI Gallery订阅模型，订阅的模型可以直接用于服务部署。
已在OBS创建至少1个空的文件夹，用于存储训练输出的内容。 由于训练作业运行需消耗资源，确保账户未欠费。 确保您使用的OBS目录与ModelArts在同一区域。 创建算法 进入ModelArts控制台，参考创建算法操作指导，创建自定义算法。
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
“授权对象类型”：根据需要选择"IAM子用户"、"联邦用户"、"委托用户"、"所有用户" “授权对象”：选择授权对象 “委托选择”：新增委托 “权限配置”：普通模式，选中弹性文件服务(SFSTurbo)下的"sfsturbo:shares:addShareNic"、"sfsturbo
access_modes 否 String 挂载文件的访问权限，支持读写和只读两种方式，仅type为“obsfs”类型，该字段有效。
支持的模型列表和权重文件 本方案支持vLLM的v0.6.3版本。不同vLLM版本支持的模型列表有差异，具体如表3所示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
