检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LogDir 参数 参数类型 描述 pfs PFSSummary object obs并行文件系统输出。 表29 PFSSummary 参数 参数类型 描述 pfs_path String obs并行文件系统路径url。 表30 DataSource 参数 参数类型 描述 job JobSummary
请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，工作负载创建失败。 storage_type String 挂载类型sfs_turbo极速文件系统挂载。 source_address String 挂载源路径，挂载为极速文件时为sfs turbo id。 表10
通过opencompass使用humaneval数据集时，需要执行模型生成的代码。请仔细阅读human_eval/execution.py文件第48-57行的注释，内容参考如下。了解执行模型生成代码可能存在的风险，如果接受这些风险，请取消第58行的注释，执行下面步骤5进行评测。 #
训练作业、算法的规格信息。 表28 algorithm 参数 参数类型 描述 code_dir String 算法启动文件所在目录绝对路径。 boot_file String 算法启动文件绝对路径。 inputs inputs object 算法输入通道信息。 outputs outputs object
用户无法在包周期的资源池中扩容按需的节点（包括AutoScaler场景）。 支持SFS产品权限划分 支持SFS权限划分特性，可以实现训练场景中，挂载的SFS的文件夹能够权限控制，避免出现所有人都可以挂载使用，导致某用户误删所有数据的情况。 支持选择资源池的驱动版本 通过选择资源池的驱动版本，解决资源
metadata object 算法的元数据，描述算法基本信息。 job_config job_config object 算法配置信息，如启动文件等。 resource_requirements Array of resource_requirements objects 算法资源约
本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称
本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.3版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称
子账号在创建ModelArts的专属资源池过程中，如果需要开启自定义网络配置，需要配置VPC权限。 VPC FullAccess 可选 SFS弹性文件服务 授予子账号使用SFS服务的权限，ModelArts的专属资源池中可以挂载SFS系统作为开发环境或训练的存储。 SFS Turbo FullAccess
云审计服务CTS CTS Administrator 弹性云服务器ECS ECS FullAccess 容器镜像服务SWR SWR Admin 弹性文件服务SFS SFS Turbo FullAccess 应用运维管理服务AOM AOM FullAccess 密钥管理服务KMS KMS CMKFullAccess
the port. (counting in double words, 32 bits ≥0 NA NA NA NFS挂载状态 NFS检索文件属性操作拥塞时间 ma_node_mountstats_getattr_backlog_wait Getattr is an NFS operation
结束标识如下图回显Exception: msprobe: exit after iteration 0。 创建如下compare.json文件。 { "npu_path": "./npu_dump/dump.json", "bench_path": "./bench_dump/dump
-34b-hf") 步骤二：启动量化服务 使用量化模型需要在NPU的机器上运行。 在模型的保存目录中创建quant_config.json文件，bits必须设置为8，指定量化为int8；group_size必须设置为-1，指定不使用pergroup；desc_act必须设置为false，内容如下：
sort=trending&search=QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 1、运行“examples/quantize.py”文件进行模型量化，量化时间和模型大小有关，预计30分钟~3小时。 pip install transformers==4.41.0 # AutoAWQ未适配transformers
Python版本：3.10 确保容器可以访问公网。 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 支持模型参数量 权重文件获取地址 Llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
String 存储类型。 当前支持“obs”、“obsfs” 和“evs”，其中，obsfs类型当前仅支持部分专属资源池。若您需要挂载OBS并行文件系统，请提工单。 location Object 存储位置，如果type为“obs”类型，该参数必须填写，如表5所示数据结构，如缺省值为“NULL”。
ingFace的目录格式。即上传的HuggingFace权重文件存放目录。如果使用了量化功能，则使用量化章节转换后的权重。如果使用的是训练后模型转换为HuggingFace格式的地址，还需要有Tokenizer原始文件。 --max-num-seqs：最大同时处理的请求数，超过后在等待池等候处理。
为PretrainedFromHF。 --tokenizer-name-or-path：tokenizer的存放路径，与HF权重存放在一个文件夹下。 --handler-name：生成数据集的用途，这里是生成的文本数据集，用于预训练。 GeneralPretrainHandler
为PretrainedFromHF。 --tokenizer-name-or-path：tokenizer的存放路径，与HF权重存放在一个文件夹下。 --handler-name：生成数据集的用途，这里是生成的文本数据集，用于预训练。 GeneralPretrainHandler
为PretrainedFromHF。 --tokenizer-name-or-path：tokenizer的存放路径，与HF权重存放在一个文件夹下。 --handler-name：生成数据集的用途，这里是生成的文本数据集，用于预训练。 GeneralPretrainHandler
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
