检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
异常。 图像分类：将发布好的数据集版本进行训练，生成对应的模型。 模型注册：将训练后的结果注册到模型管理中。 服务部署：将生成的模型部署为在线服务。 快速查找创建好的项目 在自动学习总览页，您可以通过搜索框，根据自动学习的属性类型（项目名称）快速搜索过滤到相应的工作流，可节省您的时间。
评测动态性能脚本 ├── generate_dataset.py # 生成自定义数据集的脚本 ├── benchmark_utils.py # 工具函数集 ├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt
评测动态性能脚本 ├── generate_dataset.py # 生成自定义数据集的脚本 ├── benchmark_utils.py # 工具函数集 ├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt
|──llm_inference # 推理代码包 |──llm_tools # 推理工具 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。
|──llm_inference # 推理代码包 |──llm_tools # 推理工具 下载代码之后需要修改llm_train/AscendSpeed/scripts/install.sh文件。具体为删除install.sh的第43行
|──llm_inference # 推理代码包 |──llm_tools # 推理工具 代码上传至OBS 将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。
减小，并逐渐趋于稳定平缓。可以使用可视化工具TrainingLogParser查看loss收敛情况。 FAQ 问题：使用TrainingLogParser工具解析训练日志中loss数据，坐标栏空白，未显示数据走势曲线。 解决方法：在解析工具页面右侧，单击日志文件名右边的设置图标，在弹出的窗口中修改Loss
ue 将yaml文件中的per_device_train_batch_size调小，重新训练如未解决则执行下一步。 替换深度学习训练加速的工具或增加zero等级，可参考模型NPU卡数、梯度累积值取值表，如原使用Accelerator可替换为Deepspeed-ZeRO-1，Dee
情况。建议优化数据读取和数据增强的性能，例如将数据读取并行化，或者使用NVIDIA Data Loading Library（DALI）等工具提高数据增强的速度。 模型保存不要太频繁：模型保存操作一般会阻塞训练，如果模型较大，并且较频繁地进行保存，就会影响GPU/NPU利用率。同
表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具(Deepspeed) 规格与节点数 llama2 llama2 7B lora 4096/8192 gradient_accumulation_steps:
gz 也可以从HuggingFace官网下载到本地后，通过docker cp命令复制到容器中/home/ma-user目录下，如下图所示。 在线下载地址： https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main
如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.910）
dataset：数据集 obs：OBS swr：SWR model_list：AI应用列表 label_task：标注任务 service：在线服务 conditions 否 Array of Constraint objects 数据约束条件。 value 否 Map<String
loss参数随着训练迭代周期持续性减小，并逐渐趋于稳定平缓。可以使用可视化工具TrainingLogParser查看loss收敛情况。 FAQ 问题：使用TrainingLogParser工具解析训练日志中loss数据，坐标栏空白，未显示数据走势曲线。 解决方法：在解析工具页面右侧，单击日志文件名右边的设置图标，在弹出的窗口中修改Loss
性，屏蔽了大量AI模型开发使用过程中的技术细节，并制定了统一合理的规范。使用者可以便捷地使用、下载模型。同时支持用户上传自己的预训练模型到在线模型资产仓库中，并发布上架给其他用户使用。AI Gallery在原有Transformers库的基础上，融入了对于昇腾硬件的适配与支持。对
示例： example = ServiceData(service_id = "**") # 通过ModelArts的在线服务，获取对应服务的服务ID，描述指定的在线服务。用于服务更新的场景。 表8 SWRImage 属性 描述 是否必填 数据类型 swr_path 容器镜像的SWR路径
考在ECS上构建自定义镜像并在Notebook中使用 场景二：基于Notebook提供的预置镜像或第三方镜像，借助ModelArts命令行工具(ma-cli镜像构建命令介绍)制作和注册镜像，构建一个面向AI开发的自定义镜像。此场景Notebook作为制作镜像的平台。具体案例参考在
本教程需要使用到的AscendCloud-3rdLLM-xxx.zip软件包中的关键文件介绍如下。 ├──llm_tools #推理工具包 ├──llm_evaluation #推理评测代码包 ├──benchmark_eval # 精度评测
在“AI应用管理 > AI应用 > 我的订阅”页面，选择并展开订阅的目标模型。在版本列表单击“部署”，可以将订阅的ModelArts模型部署为“在线服务”、“批量服务”或“边缘服务”，详细操作步骤请参见部署服务。 使用订阅的HiLens技能： 在“产品订购 > 订单管理 > AI Ga
|──llm_inference # 推理代码包 |──llm_tools # 推理工具 代码上传至OBS 将AscendSpeed代码包AscendCloud-LLM-xxx.zip在本地解压缩后，将llm_train文件上传至OBS中。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
