检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
软件包获取路径:Support-E网站。 发布包 软件包特性说明 配套说明 备注 昇腾云模型代码 三方大模型,包名:AscendCloud-3rdLLM PyTorch框架下支持如下模型训练: llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b
或ipynb文件中直接调用ModelArts SDK的接口。在Notebook中调用SDK,可直接参考接口说明,执行OBS管理、作业管理、模型管理和服务管理等操作。 ModelArts SDK支持在本地安装配置使用。使用时,需进行Session鉴权。 本地安装SDK。如果本地未安
(可选)本地服务器安装ModelArts SDK 介绍如何在本地安装ModelArts SDK。 (可选)Session鉴权 Session模块的主要作用是实现与公有云资源的鉴权,并初始化ModelArts SDK Client、OBS Client。 OBS管理概述 ModelArts SDK支持对OBS
计费项 自动学习/Workflow计费项 数据管理计费项 开发环境计费项 模型训练计费项 模型管理计费项 推理部署计费项 专属资源池计费项
model_id String 模型ID。 model_name String 模型名称。 model_version String 模型版本。 invocation_times Number 模型实例的总调用次数。 failed_times Number 模型实例调用失败次数。 cpu_core_usage
将Notebook的Conda环境迁移到SFS磁盘 使用ModelArts PyCharm插件调试训练ResNet50图像分类模型 使用ModelArts VSCode插件调试训练ResNet50图像分类模型
调用总量。 表5 Monitor 参数 参数类型 描述 failed_times Integer 模型实例调用失败次数,在线服务字段。 model_version String 模型版本,在线服务字段。 cpu_memory_total Integer 总内存,单位MB。 gpu_usage
自动学习 准备数据 模型训练 部署上线 模型发布
config结构 参数 参数类型 描述 model_id String 模型ID。 model_name String 模型名称。 model_version String 模型版本。 weight Integer 权重,分配到此模型的流量权重。 specification String 资源规格。
object Execution执行的错误信息。 policy WorkflowStepExecutionPolicy object 节点的执行策略。 conditions_execution WorkflowConditionExecution object 条件执行。 step_title
manifest路径,给训练、推理作为输入。 model_id String 模型ID。 model_name String 模型名称。 model_parameter String 模型参数。 model_version String 模型版本。 n_clusters Integer 聚类数。 name
操作名称,枚举如下: stop 停止 rerun 重跑 policies 否 ExecutionActionPolicy object 动作策略。 parameters 否 Array of WorkflowParameter objects 参数。 data_requirements
入的重复图片、相似图片等问题;在一批输入旧模型的推理数据中,通过内置规则的数据选择可以进一步提升旧模型精度。 数据增强: 数据扩增通过简单的数据扩增例如缩放、裁剪、变换、合成等操作直接或间接的方式增加数据量。 数据生成应用相关深度学习模型,通过对原数据集进行学习,训练生成新的数据集的方式增加数据量。
测请求会导致部署的在线服务进入告警状态。 业务内存不正常。 请检查推理代码是否存在内存溢出或者内存泄漏的问题。 模型运行异常。 请检查您的模型是否能正常运行。例如模型依赖的资源是否故障,需要排查推理日志。 实例pod数量异常 。 如果您曾经找过运维人员删除过异常的实例pod,事件
“评论”等信息。 在详情页面单击“订阅”。 如果订阅的是非华为云官方资产,则会弹出“温馨提示”页面,勾选并阅读《数据安全与隐私风险承担条款》和《华为云AI Gallery服务协议》后,单击“继续订阅”才能继续进行模型订阅。 Workflow被订阅后,详情页的“订阅”按钮显示为“已
图片的色彩饱和度,值越大表示图片整体色彩越容易分辨。 一般呈正态分布,一般用于比较训练集和真实场景数据集的差异。 清晰度 Clarity 图片清晰程度,使用拉普拉斯算子计算所得,值越大代表边缘越清晰,图片整体越清晰。 可根据使用场景判断清晰度是否满足需要。比如使用场景的数据采集来自高清摄像头,那么清晰度对应的
metric_values属性列表 参数 参数类型 说明 recall Float 训练作业模型单个分类召回率。 precision Float 训练作业模型单个分类精确率。 accuracy Float 训练作业模型单个分类准确率。 表11 total_metric属性列表 参数 参数类型 说明 total_metric_meta
源池。 如果磁盘空间不够,可以尝试重试,使实例调度到其他节点。如果单实例仍磁盘空间不足,请联系系统管理员,更换合适的规格。 如果是大模型导入的模型部署服务,请确保专属资源池磁盘空间大于1T(1000GB)。 父主题: 服务部署
ModelArts会挂载硬盘至“/cache”目录,用户可以使用此目录来储存临时文件。“/cache”与代码目录共用资源,不同资源规格有不同的容量。 k8s磁盘的驱逐策略是90%,所以可以正常使用的磁盘大小应该是“cache目录容量 x 0.9”。 裸机的本地磁盘为物理磁盘,无法扩容,如果存储的数据量大,建议使用SFS存放数据,SFS支持扩容。
开启高可用冗余:是否开启资源池的高可用冗余,超节点默认开启高可用冗余。 冗余节点分布策略:冗余节点的分布策略,超节点仅支持step均分:每个超节点内预留相同数量的冗余节点。 冗余实例数:此规格设置的高可用冗余实例数量。冗余系数指的是冗余节点分布策略为step均分时,每个超节点内预留的冗余节点数量。 说明: