检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ipynb文件。编写以下代码，并运行Untitled.ipynb文件（用于将OBS中的数据导入至云硬盘EVS）。 import moxing as mox #obs存放数据路径 obs_code_dir= "obs://<bucket_name>/llm_train" obs_data_dir= "ob
ipynb文件。编写以下代码，并运行Untitled.ipynb文件（用于将OBS中的数据导入至云硬盘EVS）。 import moxing as mox #obs存放数据路径 obs_code_dir= "obs://<bucket_name>/llm_train" obs_data_dir= "ob
sh脚本的内容可以参考如下示例： #!/bin/bash ##认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 ##本示例以AK和SK保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEIC
动态分辨率可以用于设置输入图片的动态分辨率参数。适用于执行推理时，每次处理图片宽和高不固定的场景，该参数需要与input_shape配合使用，input_shape中-1的位置为动态分辨率所在的维度。使用方法可参考Ascend配置文件说明。 父主题： 模型适配
ENV_AG_MODEL_DIR 模型存放路径，AI Gallery的模型仓库地址，包含模型仓库的所有文件。 “/home/ma-user/.cache/gallery/model/ur12345--gpt2” ENV_AG_DATASET_DIR 数据集存放路径，AI Gallery的数
义的数据集路径和名称} 原始数据集的存放路径。 TOKENIZER_PATH /home/ma-user/ws/llm_train/AscendSpeed/tokenizers/llama2-13b tokenizer的存放路径，与HF权重存放在一个文件夹下。请根据实际规划修改。
s_LossCompare.jsonl 原始数据集的存放路径。 TOKENIZER_PATH /home/ma-user/work/model/llama-2-13b-chat-hf tokenizer的存放路径，与HF权重存放在一个文件夹下。请根据实际规划修改。 PROCESSED_DATA_PREFIX
NMS方法降低目标框堆叠度 ModelArts标注数据丢失，看不到标注过的图片的标签 如何将某些图片划分到验证集或者训练集？ 物体检测标注时除了位置、物体名字，是否可以设置其他标签，比如是否遮挡、亮度等？ ModelArts数据管理支持哪些格式？ 旧版数据集中的数据是否会被清理？ 数据集版本管理找不到新建的版本
中标签颜色，单击“添加”完成1个物体的标注。如果已存在标签，从下拉列表中选择已有的标签，然后单击“添加”完成标注。逐步此画面中所有物体所在位置，一帧对应的画面可添加多个标签。 支持的标注框与“物体检测”类型一致，详细描述请参见物体检测章节的表2。 图2 视频标注 上一帧对应的画面
--device=/dev/davinciX 挂载NPU设备，示例中挂载了8张卡，可根据需要选择挂载卡数 work_dir：工作目录，目录下存放着训练所需代码、数据等文件 container_work_dir: 容器工作目录，一般同work_dir container_name：自定义容器名
排序方式，ASC升序，DESC降序。 sort_key 否 String 排序的字段，多个字段使用(“,”)逗号分隔。 offset 否 Integer 分页记录的起始位置偏移量。 limit 否 Integer 每一页的数量。 请求参数 无 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型
createTime：默认值，创建时间。 updateTime：更新时间。 limit 否 Integer 每一页的数量。 offset 否 Integer 分页记录的起始位置偏移量。 请求参数 无 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 current Integer 当前页数。
sh脚本的内容可以参考如下示例： #!/bin/bash ##认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 ##本示例以AK和SK保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEIC
从HuggingFace官网下载moondream2模型包到本地，下载地址：https://huggingface.co/vikhyatk/moondream2/tree/2024-03-06。 在宿主机上创建一个空目录/home/temp，将下载的模型包存放在宿主机/home/temp/moondream
已标注：同时导入标注对象和标注内容，当前“自由格式”的数据集不支持导入标注内容。 为了确保能够正确读取标注内容，要求用户严格按照规范存放数据： 导入方式选择目录时，需要用户选择“标注格式”，并按照标注格式的要求存放数据。 导入方式选择manifest时，需要满足manifest文件的规范，详细规范请参见标注格式章节。
l文件设置，用户查看默认yaml文件即可知道最优性能的配置。 目前仅支持SFT指令监督微调训练阶段。 代码目录 benchmark工具脚本存放在代码包AscendCloud-LLM-xxx.zip的LLM/LLaMAFactory/benchmark目录下，包含训练性能测试和训练精度测试脚本。
高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。 本文档也以将运行代码以及输入输出数据存放OBS为例，请参考创建OBS桶，例如桶名：standard-llama2-13b。并在该桶下创建文件夹目录用于后续
高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。 本文档也以将运行代码以及输入输出数据存放OBS为例，请参考创建OBS桶，例如桶名：standard-llama2-13b。并在该桶下创建文件夹目录用于后续
----0500.jpg 输出说明 输出目录的结构如下所示。其中“model”文件夹存放用于推理的“frozen pb”模型，“samples”文件夹存放训练过程中输出图像，“Data”文件夹存放训练模型生成的图像。 train_url----model----CYcleGan_epoch_10
义的数据集路径和名称} 原始数据集的存放路径。 TOKENIZER_PATH /home/ma-user/ws/llm_train/AscendSpeed/tokenizers/llama2-13b tokenizer的存放路径，与HF权重存放在一个文件夹下。请根据实际规划修改。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
