检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据类型：系统会根据您的数据集，匹配到相应的数据类型。例如本案例使用的数据集，系统匹配为“图片”类型。 数据集输入位置：用来存放源数据集信息，例如本案例中从Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录，但不能与输出位置为同一目录。
数据类型：系统会根据您的数据集，匹配到相应的数据类型。例如本案例使用的数据集，系统匹配为“图片”类型。 数据集输入位置：用来存放源数据集信息，例如本案例中从Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录，但不能与输出位置为同一目录。
在“访问授权”页面，在“授权对象类型”下面选择“IAM子用户”，“授权对象”选择管理员的账号，选择“新增委托”，“权限配置”选择“普通用户”。管理员不做权限控制，此处默认使用普通用户委托即可。 勾选“我已经详细阅读并同意《 ModelArts服务声明 》”，单击“创建”。
资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。 实例规格 选择实例规格，规格中描述了服务器类型、型号等信息。 更多选项 永久保存日志 选择是否打开“永久保存日志”开关。
资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。 实例规格 选择实例规格，规格中描述了服务器类型、型号等信息。 流量限制（QPS） 设置待部署模型的流量限制QPS。
表1 依赖参数说明 配置项 取值类型 取值范围 配置说明 enable-chunked-prefill bool true false true：开启Chunked Prefill特性。 false：不开启Chunked Prefill特性。
cfgs_yaml_file> <model_name> <run_type> <cfgs_yaml_file>：精度测试配置的yaml文件地址，指代码目录中accuracy_cfgs.yaml相对或绝对路径 <model_name>：训练模型名，如qwen2.5-7b <run_type>：训练策略类型及数据序列长度
cfgs_yaml_file> <model_name> <run_type> <cfgs_yaml_file>：精度测试配置的yaml文件地址，指代码目录中accuracy_cfgs.yaml相对或绝对路径 <model_name>：训练模型名，如qwen2.5-7b <run_type>：训练策略类型及数据序列长度
ModelArts Standard训练作业、Notebook ModelArts Lite Cluster资源池 ModelArts弹性集群Server 云硬盘（系统盘和数据盘） 计费因子：云硬盘类型、容量。
--tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。
--dtype：模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。如果不指定，则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。
当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 启动kv-cache-int8-per-tensor量化服务。
--tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。
--tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。
your-obs-bucket/manifest/V001.manifest" session = Session() manifest_info.save(path, session=session, save_mode="a") 参数说明 表1 请求参数 参数 是否必选 参数类型
您也可以根据不同的文件类型，进行读取。请参见读取“json”文件、读取“npy”文件、使用cv2库读取文件和在MXNet环境下使用torch包。 读取文件报错，您可以使用Moxing将数据复制至容器中，再直接访问容器中的数据。
调用修改工作空间接口根据工作空间ID修改工作空间的名称、描述、授权类型等信息。
--dtype：模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。 如果不指定，则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。
--tokenizer-type：tokenizer的类型，可选项有['BertWordPieceLowerCase'，'BertWordPieceCase'，'GPT2BPETokenizer'，'PretrainedFromHF']，一般为PretrainedFromHF。
--dtype：模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。 --tensor-parallel-size：模型并行数。取值需要和启动的NPU卡数保持一致，可以参考1。此处举例为1，表示使用单卡启动服务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
