检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改Standard专属资源池支持的作业类型 场景介绍 ModelArts含有许多“作业”类型(作业为统称,并非单指训练作业),其中有一部分是可以运行在Standard专属资源池上的,包括“训练”、“推理”服务及“Notebook”开发环境。 专属资源池提供了动态设置作业类型的功能
扩缩容Standard专属资源池 场景介绍 当专属资源池创建完成,使用一段时间后,由于用户AI开发业务的变化,对于资源池资源量的需求可能会产生变化,面对这种场景,ModelArts Standard专属资源池提供了扩缩容功能,用户可以根据自己的需求动态调整。 使用扩容功能时,可以增加资源池已有规格的实例数量
场景介绍 方案概览 本文档介绍了在ModelArts的Standard上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程,利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件,为用户提供推理部署方案
欠拟合的解决方法有哪些? 模型复杂化。 对同一个算法复杂化。例如回归模型添加更多的高次项,增加决策树的深度,增加神经网络的隐藏层数和隐藏单元数等。 弃用原来的算法,使用一个更加复杂的算法或模型。例如用神经网络来替代线性回归,用随机森林来代替决策树。 增加更多的特征,使输入数据具有更强的表达能力
在MaaS体验模型服务 在ModelArts Studio大模型即服务平台,运行中的模型服务可以在“模型体验”页面在线体验模型服务的推理效果。 前提条件 在“模型部署”的服务列表存在“运行中”的模型服务。 操作步骤 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts
训练过程中无法找到so文件 问题现象 ModelArts训练作业运行时,日志中遇到如下报错,导致训练失败: libcudart.so.9.0 cannot open shared object file no such file or directory 原因分析 编译生成so
给子账号配置文件夹级的SFS Turbo访问权限 场景描述 本文介绍如何配置文件夹级的SFS Turbo访问权限,实现在ModelArts中访问挂载的SFS Turbo时,只允许子账号访问特定的SFS Turbo文件夹内容。 给子账号配置文件夹级的SFS Turbo访问权限为白名单功能
分析ModelArts数据集中的数据特征 基于图片或目标框对图片的各项特征,如模糊度、亮度进行分析,并绘制可视化曲线,帮助处理数据集。 您还可以选择数据集的多个版本,查看其可视化曲线,进行对比分析。 背景信息 只有“图片”的数据集,且版本标注类型为“物体检测”和“图像分类”的数据集版本支持数据特征分析
数据导入方式介绍 数据集创建完成后,您还可以通过导入数据的操作,接入更多数据。ModelArts支持从不同数据源导入数据。 从OBS导入数据到ModelArts数据集 从DLI导入数据到ModelArts数据集 从MRS导入数据到ModelArts数据集 从DWS导入数据到ModelArts
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优
SDK简介 ModelArts服务软件开发工具包(ModelArts SDK)是对ModelArts服务提供的REST API进行的Python封装,以简化用户的开发工作。用户直接调用ModelArts SDK即可轻松管理数据集、启动AI训练以及生成模型并将其部署为在线服务。 ModelArts
Standard模型训练 ModelArts Standard模型训练提供容器化服务和计算资源管理能力,负责建立和管理机器学习训练工作负载所需的基础设施,减轻用户的负担,为用户提供灵活、稳定、易用和极致性能的深度学习训练环境。通过ModelArts Standard模型训练,用户可以专注于开发
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 数据集下载 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优
创建团队标注任务 如果您在创建标注作业时,即启用团队标注,且指派了某一团队负责标注,系统将默认基于此团队创建一个标注任务。您可以在创建数据标注任务后,在“我创建的”页面查看此任务。 您还可以重新创建一个团队标注任务,指派给同一团队的不同成员,或者指派给其他标注团队。 团队标注作业的创建方式
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持
在云监控平台查看在线服务性能指标 ModelArts支持的监控指标 为使用户更好地掌握自己的ModelArts在线服务和对应模型负载的运行状态,云服务平台提供了云监控。您可以使用该服务监控您的ModelArts在线服务和对应模型负载,执行自动实时监控、告警和通知操作,帮助您更好地了解服务和模型的各项性能指标
如何查看ModelArts中正在收费的作业? 在ModelArts管理控制台,单击左侧菜单栏的“总览”,您可以在“总览”区域查看正在收费的作业。根据实际情况进入管理页面,停止实例。例如,Notebook正在计费,请前往“开发空间 > Notebook”页面,将状态为“运行中”的Notebook
在模型广场查看模型 在模型广场页面,ModelArts Studio大模型即服务平台提供了丰富的开源大模型模板,在模型详情页可以查看模型的详细介绍,根据这些信息选择合适的模型模板,用于创建模型。 访问模型广场 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts