检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
# 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant # W8A8量化工具 ├── ascend_autosmoothquant_adapter # 昇腾量化使用的算子模块
path导致服务启动调用冲突的，需在实例启动后，再指定PYTHONPATH、sys.path； 用户使用了已开启sudo权限的专属池，使用自定义镜像时，sudo工具未安装或安装错误； 用户使用的cann、cuda环境有兼容性问题； 用户的docker镜像配置错误、网络或防火墙限制、镜像构建问题（文件权
该环境为裸机开发环境，主要面向深度定制化开发场景。 优点：支持深度自定义环境安装，可以方便的替换驱动、固件和上层开发包，具有root权限，结合配置指导、初始化工具及容器镜像可以快速搭建昇腾开发环境。 缺点：资源申请周期长，购买成本高，管理视角下资源使用效率较低。 环境开通指导请参考DevServer
NPU Finetune训练指导（6.3.904） Open-Clip基于DevServer适配PyTorch NPU训练指导 AIGC工具tailor使用指导
1。 loss收敛情况：日志里存在lm loss参数 ，lm loss参数随着训练迭代周期持续性减小，并逐渐趋于稳定平缓。也可以使用可视化工具TrainingLogParser查看loss收敛情况，如图2所示。 单节点训练：训练过程中的loss直接打印在窗口上。 多节点训练：训练过程中的loss打印在最后一个节点上。
在“运行时长控制”选择是否指定运行时长。 不限时长：不限制作业的运行时长，AI Gallery工具链服务部署完成后将一直处于“运行中”。 指定时长：设置作业运行几小时后停止，当AI Gallery工具链服务运行时长达到指定时长时，系统将会暂停作业。时长设置不能超过计算资源的剩余额度。 说明：
--local-dir <模型下载路径> 方法三：使用专用多线程下载器 hfd：hfd 是本站开发的 huggingface 专用下载工具，基于成熟工具 git+aria2，可以做到稳定下载不断线。 方法四：使用Git clone，官方提供了git clone repo_url 的方
--local-dir <模型下载路径> 方法三：使用专用多线程下载器 hfd：hfd 是本站开发的 huggingface 专用下载工具，基于成熟工具 git+aria2，可以做到稳定下载不断线。 方法四：使用Git clone，官方提供了git clone repo_url 的方
# 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant # W8A8量化工具 ├── ascend_autosmoothquant_adapter # 昇腾量化使用的算子模块
workforce_task_id 是 String 团队标注任务ID。 表2 Query参数 参数 是否必选 参数类型 描述 label_name 否 String 标签名。 label_type 否 Integer 标注类型。可选值如下： 0：图像分类 1：物体检测 3: 图像分割 100：文本分类 101：命名实体
String 标注团队成员邮箱。 high_score 否 String 置信度上界，默认为1。 label_name 否 String 标签名。 label_type 否 Integer 标注类型。可选值如下： 0：图像分类 1：物体检测 3: 图像分割 100：文本分类 101：命名实体
Atlas 800训练服务器HCCN Tool Atlas 800 训练服务器 1.0.11 HCCN Tool接口参考主要介绍集群网络工具hccn_tool对外接口说明，包括配置RoCE网卡的IP、网关，配置网络检测对象IP和查询LLDP信息等。 Atlas 800训练服务器备件查询助手
--local-dir <模型下载路径> 方法三：使用专用多线程下载器 hfd：hfd 是本站开发的 huggingface 专用下载工具，基于成熟工具 git+aria2，可以做到稳定下载不断线。 方法四：使用Git clone，官方提供了 git clone repo_url 的
--local-dir <模型下载路径> 方法三：使用专用多线程下载器 hfd：hfd 是本站开发的 huggingface 专用下载工具，基于成熟工具 git+aria2，可以做到稳定下载不断线。 方法四：使用Git clone，官方提供了 git clone repo_url 的
尝鲜大模型，真正达到“即时接入，即时体验”的效果。 当开发者对希望对模型进行开发和训练，AI Gallery为零基础开发者，提供无代码开发工具，快速推理、部署模型；为具备基础代码能力的开发者，AI Gallery将复杂的模型、数据及算法策略深度融合，构建了一个高效协同的模型体验环
Calling的使用场景： 表1 Function Calling使用场景说明 使用场景 说明 增强能力 大模型通过Function Calling可以调用外部工具或服务，例如实时数据检索、文件处理、数据库查询等，从而扩展其能力。 实时数据访问 由于大模型通常基于静态数据集训练，不具备实时信息。Function
提供图像、文本、音频、视频等多种格式数据的预览，帮助用户识别数据质量。 提供对数据进行多维筛选的能力，用户可以根据样本属性、标注信息等进行样本筛选。 提供12+标注工具，方便用户进行精细化、场景化和专业化的数据标注。 提供基于样本和标注结果进行特征分析，帮助用户整体了解数据的质量。 提升用户数据准备的效率。
独特的优势，而NPU上的执行目前还是依赖于算子的下发，对于NPU构造的理解是昇腾训练迁移中必备的知识，只有对于昇腾有基础理解，配合一些诊断工具，面对复杂问题时，才能进行进一步诊断与定位，进而发挥NPU的能力。 性能调优可以先将重点放在NPU不亲和的问题处理上，确保一些已知的性能问
npuDriver：NPU驱动 gpuDriver：GPU驱动 ccePlugin：CCE插件 helm：Helm模板 icAgent：ICAgent工具 description String 插件模板描述。 versions Map<String,PluginTemplateVersion>
LabelAttribute objects 标签的多维度属性，如标签为“音乐”，可能包含属性“风格”、“歌手”等。 name String 标签名称。 property LabelProperty object 标签基本属性键值对，如颜色、快捷键等。 type Integer 标签类型。可选值如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
