检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
信息和镜像解耦,可以在服务部署时配置,不能直接硬编码在Dockerfile中。定期针对镜像进行安全扫描,及时安装补丁修复漏洞。增加健康检查接口,确保健康检查可以正常返回业务状态,便于告警和故障恢复。容器应该采用https的安全传输通道,并使用业界推荐的加密套件保证业务数据的安全性。
MiniCPM-V2.0推理及LoRA微调基于Lite Server适配PyTorch NPU指导(6.3.910) 本文档主要介绍如何在ModelArts Lite的Server环境中,使用NPU卡对MiniCPM-V2.0进行LoRA微调及推理。本文档中提供的训练脚本,是基于
设置root密码 执行exit命令退出容器,在宿主机上执行ssh测试: ssh root@宿主机IP -p 51234(映射的端口号) 图20 执行ssh测试 如果在宿主机执行ssh容器测试时报错Host key verification failed,可删除宿主机上的文件~/.ssh/known_host后再重试。
manifest”。 图像分类 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 { "source":"s3://path/to/image1.jpg",
使用预置镜像制作自定义镜像用于训练模型 使用预置框架构建自定义镜像原理介绍 如果先前基于预置框架且通过指定代码目录和启动文件的方式来创建的训练作业;但是随着业务逻辑的逐渐复杂,您期望可以基于预置框架修改或增加一些软件依赖的时候,可以使用预置框架构建自定义镜像,即在创建训练作业页面
人工标注文本数据 由于模型训练过程需要大量有标签的数据,因此在模型训练之前需对没有标签的文本添加标签。您也可以对已标注文本进行修改、删除和重新标注。 针对文本分类场景,是对文本的内容按照标签进行分类处理,开始标注前,您需要了解: 文本标注支持多标签,即一个标注对象可添加多个标签。
元模型来源:选择“从对象存储服务(OBS)中选择”。 选择元模型:从OBS中选择一个模型包。 AI引擎:选择“Custom”。 引擎包:从容器镜像中选择一个镜像。 容器调用接口:端口和协议可根据镜像实际使用情况自行填写。 其他参数保持默认值。 单击“立即创建”,跳转到模型列表页,查看模型状态,当状态变为“正常”,模型创建成功。
异常中文描述 检测方法 处理建议 NT_NPU_DEVICE NPU 其他 npu dcmi device异常。 NPU设备异常,昇腾dcmi接口中返回设备存在重要或紧急告警。 可能是亚健康,建议先重启节点,如果重启节点后未恢复,发起维修流程。 NT_NPU_NET NPU 链路 npu
poch的cifar-10数据集训练,训练时长和测试集准确率如下。 表1 训练结果对比 资源类型 单机单卡 两节点16卡 耗时 60分钟 20分钟 准确率 80+ 80+ 分布式训练完整代码示例 以下对resnet18在cifar10数据集上的分类任务,给出了分布式训练改造(DDP)的完整代码示例。
后续操作 本地安装ModelArts SDK后,需完成Session鉴权。Session鉴权完成后,您可直接调用ModelArts的SDK接口。 FAQ:安装ModelArts SDK报错 在Windows上安装ModelArts SDK,Python版本需≤3.10.x版本,推荐使用3
“选择标注团队”:任务类型设置为“指定标注团队”,需在此参数中指定一个团队,同时勾选此团队中某几个成员负责标注。下拉框中将罗列当前账号下创建的标注团队及其成员。 “选择标注接口人”:任务类型设置为“指定标注管理员”,需在所有团队的“Team Manager”中选择一人作为管理员。 “自动将新增图片同步给标注团队”
acceptSamples 给样本添加标签 dataset updateSamples 发送邮件给团队标注任务的成员 dataset sendEmails 接口人启动团队标注任务 dataset startWorkforceTask 更新团队标注任务 dataset updateWorkforceTask
增量模型训练 什么是增量训练 增量训练(Incremental Learning)是机器学习领域中的一种训练方法,它允许人工智能(AI)模型在已经学习了一定知识的基础上,增加新的训练数据到当前训练流程中,扩展当前模型的知识和能力,而不需要从头开始。 增量训练不需要一次性存储所有的
acceptSamples 给样本添加标签 dataset updateSamples 发送邮件给团队标注任务的成员 dataset sendEmails 接口人启动团队标注任务 dataset startWorkforceTask 更新团队标注任务 dataset updateWorkforceTask
通过ModelArts的Notebook,在JupyterLab中使用OBS上传下载数据。 建议配置。 开发环境监控功能 AOM aom:alarm:put 调用AOM的接口,获取Notebook相关的监控数据和事件,展示在ModelArts的Notebook中。 建议配置。 VPC接入 VPC vpc:ports:create
更多选项 内容审核 选择是否打开内容审核,默认启用。 开关打开(默认打开),内容审核可以阻止模型推理中的输入输出中出现不合规的内容,但可能会对接口性能产生较大影响。 开关关闭,停用内容审核服务,将不会审核模型推理中的输入输出,模型服务可能会有违规风险,请谨慎关闭。 关闭“内容审核”开
昇腾能力应用地图 ModelArts支持如下开源模型昇腾NPU进行训练和推理。 DeepSeek系列模型 表1 DeepSeek系列模型 支持模型 应用场景 软件技术栈 指导文档 DeepSeek R1 推理 MindIE DeepSeek模型基于ModelArts Lite Server适配MindIE推理部署指导
0提供的文件系统作为训练作业所需的存储进行AI模型的训练和探索。同时提供OBS接口,支持从云外导入训练数据。 提供高性能文件客户端,满足重型训练作业中对存储高带宽诉求,同时提供OBS访问功能,同一份训练数据通过OBS接口导入到存储之后不需要再进相关转化,即可支持模型训练。 提供对象存储语义
训练对象,该对象包含job_id等属性,对训练作业的查询、更新、删除等操作时,可通过job_instance.job_id获取训练作业ID。 表7 调用训练接口失败响应参数 参数 类型 描述 error_msg String 调用失败时的错误信息,调用成功时无此字段。 error_code String
get_run_ascend_logger() class FMKManager: # max destroy time: ~20 (15 + 5) # ~ 15 (1 + 2 + 4 + 8) MAX_TEST_PROC_CNT = 4 def