检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具体计费请以ModelArts价格计算器中的价格为准。 ModelArts Standard专属资源池、自动学习、Workflow、Notebook、训练作业、在线/批量/边缘服务 ModelArts Lite Cluster资源池 ModelArts弹性集群Server ModelArts Studio(MAAS)
支持3条。 “部署类型” 选择此模型支持部署服务的类型,部署上线时只支持部署为此处选择的部署类型,例如此处只选择在线服务,那您导入后只能部署为在线服务。当前支持“在线服务”、“批量服务”和“边缘服务”。 确认信息填写无误,单击“立即创建”,完成模型的创建。 在模型列表中,您可以查
一个账号最多创建10个Notebook。 否 更多信息,请参见创建Notebook实例。 Standard推理部署在线服务 单个账号最多可创建20个在线服务。 是 提交工单申请提升配额 更多信息,请参见部署在线服务。 Standard推理部署批量服务 单个账号最多可创建1000个批量服务。 否 更多信息,请参见部署批量服务。
Standard训练作业:用户在运行训练作业时,可以查看训练作业占用的CPU、GPU或NPU资源使用情况。具体请参见训练资源监控章节。 Standard在线服务:用户将模型部署为在线服务后,可以通过监控功能查看该推理服务的CPU、内存或GPU等资源使用统计信息和模型调用次数统计,具体参见查看推理服务详情章节。
04-x86_64 request_mode Array of strings 请求模式,AI引擎支持部署为同步在线服务或异步在线服务。 sync:同步在线服务 async:异步在线服务 accelerators Array of Accelerator objects AI引擎可使用的加速卡。
目前只有“图像分类”和“物体检测”类型的数据集支持难例发现功能。 智能标注后,确认难例 “智能标注”任务执行过程中,ModelArts将自动识别难例,并完成标注。当智能标注结束后,难例标注结果将呈现在“待确认”页签,建议您对难例数据进行人工修正,然后确认标注。 登录ModelArt
Studio大模型即服务平台(下面简称为MaaS),使用Qwen2-7B模型可以实现新闻自动分类,能够高效处理和分类大量新闻内容。 该解决方案可以应用于如下场景: 新闻门户网站: 自动将新闻内容归类到相应板块,如科技、体育或国际新闻,以提升用户体验和内容检索效率。 社交媒体平台: 对用户分享的新闻链接进行智能分类,帮助用户迅速定位到感兴趣的话题。
huaweicloud.com/home中,搜索pypi ,也可以查看“pip.conf”文件内容。 下载“torch*.whl ”文件。 在网站“https://download.pytorch.org/whl/torch_stable.html”搜索并下载如下whl文件。 torch-1
print(outputs[0].outputs[0].text) MODEL_NAME表示对应模型路径。 在线推理使用Guided Decoding 启动推理服务请参考启动推理服务章节。 在线推理使用Guided Decoding时,在发送的请求中包含上述guided_json架构,具体示例可参考以下代码。
huaweicloud.com/home中,搜索pypi ,也可以查看“pip.conf”文件内容。 下载“torch*.whl ”文件。 在网站“https://download.pytorch.org/whl/torch_stable.html”搜索并下载如下whl文件。 torch-1
动退出。该现象表明资源池规格任务紧张,训练作业无法正常启动,推荐您购买专属资源池补充计算节点。 如果您使用专属资源池创建训练作业,容错检查识别的故障节点会被剔除。系统自动补充健康的计算节点至专属资源池。(该功能即将上线) 容错检查详细介绍请参考: 开启容错检查 检测项目与执行条件
更新管理 ModelArts在线服务更新 对于已部署的推理服务,ModelArts支持通过更换模型的版本号,实现服务升级。 推理服务有三种升级模式:全量升级、滚动升级(扩实例)和滚动升级(缩实例)。了解三种升级模式的流程,请参见图1。 全量升级 需要额外的双倍的资源,先全量创建新版本实例,然后再下线旧版本实例。
PyTorch、TensorFlow和MindSpore等引擎的AI模型。 支持通过JupyterLab工具在线打开Notebook,具体请参见通过JupyterLab在线使用Notebook实例进行AI开发。 支持本地IDE的方式开发模型,通过开启SSH连接,用户本地IDE可以
SSH:镜像支持本地IDE通过SSH协议远程连接Notebook。 id String 待创建Notebook实例的镜像,需要指定镜像ID,ID格式为通用唯一识别码(Universally Unique Identifier,简称UUID)。预置镜像的ID参考查询支持的镜像列表获取。 name String
ModelArts Standard数据管理支持多维度数据管理能力 数据集管理:提供数据集创建、数据预览、数据集版本管理等能力 数据标注:提供在线标注能力,包含图像分类、目标检测、音频分割、文本三元组等标注场景;提供图片智能标注方案,提升标注效率;提供团队标注能力,支持多人协同标注与标注任务的审核验收
“obs://test-modelarts/tensorflow/log/” 用于存储训练日志文件。 Step2 创建数据集并上传至OBS 使用网站https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz,下载“mnist
自动迁移工具使用指导 训练业务代码适配昇腾PyTorch代码适配 PyTorch Analyse 迁移分析工具,可以使用工具扫描用户的训练脚本,识别出源码中不支持的torch API和cuda API信息。 包含在cann toolkit中。 分析工具使用指导 精度调优 msprobe
步骤二:权重格式离线转换(可选) 在GPU上AutoAWQ量化完成后,使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包,在线转换会增加启动时间,可以提前对权重进行转换以减少启动时间,转换步骤如下: 进入llm_tools/AutoAWQ代码目录下执行以下脚本:
“代码目录” 训练作业代码目录所在的OBS路径。 您可以单击代码目录后的“编辑代码”,在“OBS在线编辑”对话框中实时编辑训练脚本代码。当训练作业状态为“等待中”、“创建中”和“运行中”时,不支持“OBS在线编辑”功能。 说明: 当您使用订阅算法创建训练作业时,不支持该参数。 “启动文件” 训练作业启动文件位置。
像无法正常使用AI Gallery工具链服务(微调大师和在线推理服务)。 说明: 建议写清楚模型的使用方法,方便使用者更好的完成训练、推理任务。 表2 任务类型支持的AI Gallery工具链服务 任务类型 微调大师 在线推理服务 AI应用 文本问答/文本生成 支持 支持 支持 其他类型