检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 描述 name String 操作系统名称。 imageId String 操作系统镜像id。 imageType String 操作系统镜像类型。 private:私有镜像。 表12 network 参数 参数类型 描述 name String 网络名称;用户接口通过
修改容器引擎类型。 容器引擎是Kubernetes最重要的组件之一,负责管理镜像和容器的生命周期。Kubelet通过Container Runtime Interface (CRI) 与容器引擎交互,以管理镜像和容器。其中Containerd调用链更短,组件更少,更稳定,占用节点资源
只提供倒排索引方法,无复杂检索设置和参数配置。 创建知识库。 在Dify平台左侧导航栏,单击“知识库”,选择“创建知识库”。 在“选择数据源”页面,上传知识文档(可以同时上传多个文本文件),“索引方式”选择“经济”,配置其他信息,单击“保存并处理”。 图3 创建知识库 创建并调试客服机器人。 在“工作
只提供倒排索引方法,无复杂检索设置和参数配置。 创建知识库。 在Dify平台左侧导航栏,单击“知识库”,选择“创建知识库”。 在“选择数据源”页面,上传知识文档(可以同时上传多个文本文件),“索引方式”选择“经济”,配置其他信息,单击“保存并处理”。 图3 创建知识库 创建并调试客服机器人。 在“工作
数据会保存,其余目录下内容会被清理。例如:用户在开发环境中的其他目录下安装的外部依赖包等,在Notebook停止后会被清理。您可以通过保存镜像的方式保留开发环境设置,具体操作请参考保存Notebook实例。 Notebook实例将停止计费,但如有EVS盘挂载,存储部分仍会继续计费。
符。 --image String 否 自定义镜像路径,格式为:组织名/镜像名:镜像版本。当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Spark镜像。 -obs / --obs-bucket String
"ims:images:create", "ims:images:delete", "ims:images:get", "ims:images:list",
I引擎”和“运行环境”后,部分支持健康检查的引擎会显示该参数,请以实际界面显示为准。 当使用Custom引擎时,引擎包需要选择容器镜像,仅当容器镜像中配置了健康检查接口,才能配置“健康检查”,否则会导致模型创建失败。 当前支持以下三种探针: 启动探针:用于检测应用实例是否已经启动。如果提供了启动探针(startup
可确认无误后,单击“提交”,即可创建专属资源池。 步骤二:使用Docker安装和配置正向代理 购买弹性云服务器ECS,详情请见购买ECS。镜像可选择Ubuntu最新版本。虚拟私有云选择提前创建好的VPC。 申请弹性公网IP EIP,详情请见申请弹性公网IP。 将弹性公网IP绑定到
推理 Ascend-vLLM 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导(6.3.912) 主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.911) 主流开源大模型基于Lite Cluster适配PyTorch
当前迁移路径是从ONNX模型转换到MindIR模型,再用MindSpore Lite做推理, 所以迁移前需要用户先准备好自己的ONNX pipeline。下文以官方开源的图生图的Stable Diffusion v1.5的onnx pipeline代码为例进行说明。 进入容器环境,创建自己的工作目录。 由
参数类型 描述 name String 操作系统名称。 imageId String 操作系统镜像id。 imageType String 操作系统镜像类型。 private:私有镜像。 表13 network 参数 参数类型 描述 name String 网络名称;用户接口通过
在训练进程结束后,该日志会生成到训练容器中。其中,使用MindSpore预置框架训练的device日志会自动上传到OBS,使用其他预置框架和自定义镜像训练的device日志如果需要自动上传到OBS,则需要在代码中配置ASCEND_PROCESS_LOG_PATH,具体请参考如下示例。 #
在Dify中配置支持Function Calling的模型使用 Dify是一个能力丰富的开源AI应用开发平台,为大型语言模型(LLM)应用的开发而设计。它巧妙地结合了后端即服务(Backend as Service)和LLMOps的理念,提供了一套易用的界面和API,加速了开发者构建可扩展的生成式AI应用的过程。
导入模型。用户可以制作自定义引擎,满足大模型场景下对镜像依赖包、推理框架等的特殊需求。自定义引擎的制作请参考使用自定义引擎在ModelArts Standard创建模型。 当用户使用自定义引擎时,默认开启动态加载,模型包与镜像分离,在服务部署时动态将模型加载到服务负载。 配置健康检查
KooSearch企业搜索服务:基于在MaaS开源大模型部署的模型API,搭建企业专属方案、LLM驱动的语义搜索、多模态搜索增强。 盘古数字人大脑:基于在MaaS开源大模型部署的模型API,升级智能对话解决方案,含智能客服、数字人。 Dify:支持自部署的应用构建开源解决方案,用于Agent编排、自定义工作流。
应用场景 本节介绍ModelArts服务的主要应用场景。 大模型 支持三方开源大模型,实现智能回答、聊天机器人、自动摘要、机器翻译、文本分类等任务。 AIGC 提供AIGC场景化解决方案,辅助创作文案、图像、音视频等数字内容。 自动驾驶 实现车辆自主感知环境、规划路径和控制行驶。
参数类型 描述 name String 操作系统名称。 imageId String 操作系统镜像id。 imageType String 操作系统镜像类型。 private:私有镜像。 表19 network 参数 参数类型 描述 name String 网络名称;用户接口通过
ImageSwrAlreadyExist 镜像版本和镜像名称已存在 请检查保存的镜像在同一组织下镜像版本和名称是否重复 400 ModelArts.2885 AccessImageSwrException 访问用户swr异常 请检查保存镜像的组织是否存在或者用户权限是否足够 400
本文涉及PyTorch训练的单卡和分布式业务迁移到昇腾的业务范围。当前针对常见的开源LLM/AIGC等领域的开源模型,ModelArts已经提供了迁移好的开箱即用模型,且保证了较优的精度和性能。如果用户业务同样使用这些开源模型,建议直接使用ModelArts提供的模型运行指导,其余场景再考虑使用本指导自行迁移和调优。