检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
团队标注任务ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 dataset_id 否 String 数据集ID。 description 否 String 团队标注任务描述，长度为0-256位，不能包含^!<>=&"'特殊字符。 task_id 否 String 团队标注任务ID。
团队标注任务当前验收任务详情。 create_time Long 标注任务创建时间。 dataset_id String 数据集ID。 description String 标注任务描述信息。 label_stats Array of LabelStats objects 标注任务标签统计信息。
service结构 参数 参数类型 描述 service_id String 服务ID。 service_name String 服务名称。 description String 服务描述。 tenant String 服务归属租户。 project String 服务归属项目。 owner String
MindSpeed git checkout a956b907ef3b0787d2a38577eb5b702f5b7e715d #推荐commit pip install -e . 开启图模式后，服务第一次响应请求时会有一个较长时间的图编译过程，并且会在当前目录下生成.torchair_ca
job_desc 否 String 对可视化作业的描述，默认为空，字符串的长度限制为[0, 256]。 train_url 是 String OBS路径地址。 job_type 否 String 可视化的类型，可选的有tensorboard和mindinsight，默认为tensorboard。
方式二：使用AutoAWQ量化工具进行量化。 AutoAWQ量化工具的适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools/AutoAWQ目录下。 1、使用该量化工具，需要切换conda环境，运行以下命令。 conda create --name
profiler._ExperimentalConfig aic_metrics=torch_npu.profiler.AiCMetrics.PipeUtilization profiler_level=torch_npu.profiler.ProfilerLevel.Level1 d
工具使用包含以下三步：dump、run_ut以及api_precision_compare。基本步骤如下： 通过pip安装msprobe工具。 # shell pip install mindstudio-probe 获取NPU和GPU的dump数据。 PyTorch训练脚本插入dump接口方式如下：
peft版本升级到0.12.0 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
sft（指令微调） √ √ 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
peft版本升级到0.12.0 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
数据集。 将原始.xlsx格式的数据转换为.csv格式的数据的方法如下： 将原始表格数据（.xlsx）另存。单击“文件>另存为”，选择本地地址后，下拉选择“保存类型”为“CSV (逗号分隔)(*.csv)”单击“保存”，在弹窗中，单击“确定”后就可以将.xlsx格式数据集转换为.csv格式。
baichuan2-13b 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
服务名称 必填项，自定义一个在线推理服务的名称。 支持1~30个字符。 安全认证 支持“公开”和“AppCode认证”。 公开：无需认证，API地址可被公开访问。 AppCode认证：需使用有效的AppCode进行认证。AppCode使用API网关颁发的AppCode进行身份认证，调用
Ratio（双千分之五）这几种评价指标，工具通过阈值过滤筛选出不达标API的输入输出提示用户进行重点关注。使用步骤如下： 通过pip安装msprobe工具。 # shell pip install mindstudio-probe 获取NPU和标杆的dump数据。 PyTorch训练脚本插入dump接口方式如下：
], "system": "system prompt (optional)", "tools": "tool description (optional)" } ] csv、xlsx csv和xlsx格式数据集仅支持微调。 表格里的一行数据就是一条样本。表格
方式二：使用AutoAWQ量化工具进行量化。 AutoAWQ量化工具的适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools/AutoAWQ目录下。 1、使用该量化工具，需要切换conda环境，运行以下命令。 conda create --name
baichuan2-13b 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
sft（指令微调） √ √ 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
model_status 否 String 模型状态，可根据模型的“publishing”、“published”、“failed”三种状态执行查询。 description 否 String 描述信息，可支持模糊匹配。 offset 否 Integer 指定要查询页的索引，默认为“0”。 limit 否
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
