检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
csv指每个推理请求对应到csv里的一行数据，当使用此方式时，输入数据目录下的文件只能以.csv为后缀，且需配置mapping_rule参数，以表达推理请求体中各个参数对应到csv的索引。
读取文件报错，您可以使用Moxing将数据复制至容器中，再直接访问容器中的数据。
--dtype：模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。如果不指定，则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。
创建和保存Pascal VOC文件 需要先创建包含Pascal VOC信息的对象，然后保存。Pascal VOC信息请见表2。路径支持本地和OBS，如果是OBS，需要Session信息。
--max-model-len：最大数据输入+输出长度，不能超过模型配置文件config.json里面定义的“max_position_embeddings”和“seq_length”；如果设置过大，会占用过多显存，影响kvcache的空间。
“输入数据目录位置” 选择输入数据的OBS路径，即您上传数据的OBS目录。只能选择文件夹或“.manifest”文件。“.manifest”文件规范请参见Manifest文件规范。 说明： 输入数据为图片时，建议单张图片小于12MB。 输入数据格式为csv时，建议不要包含中文。
--max-model-len：最大数据输入+输出长度，不能超过模型配置文件config.json里面定义的“max_position_embeddings”和“seq_length”；如果设置过大，会占用过多显存，影响kvcache的空间。
在服务运行时将存储卷以本地目录的方式挂载到计算节点（计算实例），模型或输入数据较大时建议使用。 SFS Turbo： 文件系统名称：选择对应的SFS Turbo极速文件。不支持选择跨区域（Region）的极速文件系统。
执行训练任务（推荐） 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。
--dtype：模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。如果不指定，则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。
iam_ak 访问密钥AK，获取方式请参见访问密钥。 iam_sk 访问密钥SK，获取方式请参见访问密钥。
--dtype：模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。 --tensor-parallel-size：模型并行数。取值需要和启动的NPU卡数保持一致，可以参考1。此处举例为1，表示使用单卡启动服务。
--dtype：模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16，bfloat16表示BF16。 --tensor-parallel-size：模型并行数。取值需要和启动的NPU卡数保持一致，可以参考1。此处举例为1，表示使用单卡启动服务。
如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
得到OBS下数据集结构，此处以llama2-13B为例（权重文件可能变化，以下仅为举例）： obs://<bucket_name>/model/llama-2-13b-chat-hf/ ├── config.json ├── generation_config.json ├── gitattributes.txt
得到OBS下数据集结构，此处以llama2-13B为例（权重文件可能变化，以下仅为举例）： obs://<bucket_name>/model/llama-2-13b-chat-hf/ ├── config.json ├── generation_config.json ├── gitattributes.txt
parquet #预训练数据 |──{output_dir} #{OUTPUT_SAVE_DIR}或yaml文件{output_dir}参数设置值 # 自动生成数据目录结构 |── preprocessed_data
得到OBS下数据集结构，此处以Qwen/Qwen-VL-Chat为例： obs://<bucket_name>/models/Qwen-VL-Chat/ ├── config.json ├── configuration_qwen.py ├── generation_config.json
得到OBS下数据集结构，此处以llama2-13B为例（权重文件可能变化，以下仅为举例）： obs://<bucket_name>/model/llama-2-13b-chat-hf/ ├── config.json ├── generation_config.json ├── gitattributes.txt
得到OBS下数据集结构，此处以Qwen/Qwen-VL-Chat为例： obs://<bucket_name>/models/Qwen-VL-Chat/ ├── config.json ├── configuration_qwen.py ├── generation_config.json
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
