检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自动学习生成的模型,支持哪些其他操作 支持部署为在线服务、批量服务或边缘服务。 在自动学习页面中,仅支持部署为在线服务,如需部署为批量服务或边缘服务,可在“模型部署”页面部署。 支持发布至市场 将产生的模型发布至AI Gallery,共享给其他用户。 支持创建新版本 创建新版本,仅支持从Mod
Server-Sent Events(SSE)是一种服务器向客户端推送数据的技术,它是一种基于HTTP的推送技术,服务器可以向客户端推送事件。这种技术通常用于实现服务器向客户端推送实时数据,例如聊天应用、实时新闻更新等。 SSE主要解决了客户端与服务器之间的单向实时通信需求(例如ChatGP
基于指定的Dockerfile构建镜像 (只支持ModelArts Notebook里使用)。 df 查询镜像构建缓存(只支持ModelArts Notebook里使用)。 prune 清理镜像构建缓存 (只支持ModelArts Notebook里使用)。 debug 在ECS上调试SWR镜像是否能在ModelArts
ModelArts线上训练得到的模型是否支持离线部署在本地? 通过ModelArts预置算法训练得到的模型是保存在OBS桶里的,模型支持下载到本地。 在训练作业列表找到需要下载模型的训练作业,单击名称进入详情页,获取训练输出路径。 图1 获取训练输出位置 单击“输出路径”,跳转至OBS对象路径,下载训练得到的模型。
基于这些基础镜像构建自定义镜像,用于部署推理服务。 X86架构(CPU/GPU)的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 镜像名称 URI 2.1.0 CPU GPU(cuda10.1) tensorflow_2.1.0-cuda_10.1-py_3
ModelArts的API或SDK支持模型下载到本地吗? ModelArts的API和SDK不支持模型下载到本地,但训练作业输出的模型是存放在对象存储服务(OBS)里面的,您可以通过OBS的API或SDK下载存储在OBS中的文件,具体请参见从OBS下载文件。 父主题: API/SDK
--files Array of String 否 用户已上传到DLI资源管理系统的类型为file的资源包名。也支持指定OBS路径,例如:obs://桶名/包名。同时也支持本地文件。如果需要指定多个参数,可以使用--files file1 --files file2。 --jars
CPU、Memory不再计费)等,提升用户体验。 支持SSH远程连接功能:通过SSH连接启动实例,在本地调试就可以操作实例,方便调试。 预置镜像支持功能开发:基于ModelArts预置镜像进行依赖安装配置后,保存为自定义镜像,能直接在ModelArts用于训练作业。 开发环境预置镜像分为X86和ARM两类:
当创建文件系统后,您需要使用弹性裸金属服务器来挂载该文件系统,具体步骤请参考挂载NFS协议类型文件系统到云服务器(Linux)。 为避免已挂载文件系统的云服务器重启后,挂载信息丢失,您可以在云服务器设置重启时进行自动挂载,具体步骤请参考服务器重启后自动挂载指南。 使用对象存储服务OBS作为存储
访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题: 将模型部署为实时推理作业
访问在线服务支持的访问通道 通过公网访问通道的方式访问在线服务 通过VPC访问通道的方式访问在线服务 通过VPC高速访问通道的方式访问在线服务 父主题: 将模型部署为实时推理作业
访问在线服务支持的认证方式 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题: 将模型部署为实时推理作业
由于弹性集群资源池可选择弹性裸金属或弹性云服务器作为节点资源,不同机型的节点对应的操作系统、适用的CCE集群版本等不相同,为了便于您制作镜像、升级软件等操作,本文对不同机型对应的软件配套版本做了详细介绍。 裸金属服务器的对应的软件配套版本 表1 裸金属服务器 类型 卡类型 RDMA网络协议
ffmpeg g++ gcc git grep python3 rpm tar unzip wget zip 父主题: ModelArts支持的预置镜像列表
在Dify中配置支持Function Calling的模型使用 Dify是一个能力丰富的开源AI应用开发平台,为大型语言模型(LLM)应用的开发而设计。它巧妙地结合了后端即服务(Backend as Service)和LLMOps的理念,提供了一套易用的界面和API,加速了开发者构建可扩展的生成式AI应用的过程。
ModelArts支持的预置镜像列表 ModelArts预置镜像更新说明 ModelArts统一镜像列表 Notebook专属预置镜像列表 训练专属预置镜像列表 推理专属预置镜像列表 父主题: 制作自定义镜像用于ModelArts Standard
源池时、创建完成后,对资源池支持的作业类型进行编辑(新增或减少)。当前支持的“作业类型”有“训练作业”、“推理服务”和“开发环境”,用户可按需自行选择。 设置某一作业类型后,即可在此专属资源池中下发此种类型的作业,没有设置的作业类型不能下发。 为了支持不同的作业类型,后台需要在专
04-x86_64 MPI mindspore_1.3.0-cuda_10.1-py_3.7-ubuntu_1804-x86_64 不同区域支持的AI引擎有差异,请以实际环境为准。 训练基础镜像详情(PyTorch) 介绍预置的PyTorch镜像详情。 引擎版本:pytorch_1
ECS获取基础镜像 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。 注意:C
自动学习生成的模型,支持哪些其他操作 支持部署为在线服务、批量服务或边缘服务。 在自动学习页面中,仅支持部署为在线服务,如需部署为批量服务或边缘服务,可在“模型管理 > 模型”页面中直接部署。 支持发布至市场 将产生的模型发布至AI Gallery,共享给其他用户。 支持创建新版本 创