云服务器内容精选
-
准备资源池 在ModelArts Studio大模型即服务平台进行模型调优、压缩或部署时,需要选择资源池。MaaS服务支持专属资源池和公共资源池。 专属资源池:专属资源池不与其他用户共享,资源更可控。在使用专属资源池之前,您需要先创建一个专属资源池,然后在AI开发过程中选择此专属资源池。MaaS服务可以使用在ModelArts Standard形态下创建的专属资源池用于模型训推。创建专属资源池的操作指导请参见创建Standard专属资源池。 MaaS服务只支持使用驱动版本是23.0.5的专属资源池,其他版本会导致任务失败。当专属资源池的驱动版本不适配时,可以参考升级Standard专属资源池驱动升级驱动。 公共资源池:公共资源池提供公共的大规模计算集群,根据用户作业参数分配使用,资源按作业隔离。MaaS服务可以使用ModelArts Standard形态下提供的公共资源池完成模型训推,按照使用量计费,方便快捷。选择公共资源池时,可以通过购买套餐包获取优惠的资源费用,请参见购买套餐包。 资源池必须和MaaS服务在同一个Region下,否则无法选择到该资源池。
-
购买套餐包 MaaS服务提供了按需套餐包,用户可以提前购买按需套餐包,从而获得灵活的、更高性价比的算力资源。当购买了套餐包,在使用公共资源池运行任务时,将会优先抵扣套餐包的配额,超出当前套餐包的额度或使用时段,将自动转为按需收费。 关于套餐包的约束限制、资源包抵扣顺序和套餐包余量预警请参见套餐包。 购买操作如下: 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio首页单击“购买套餐包”,进入购买页面。 在“购买”页面,选择套餐包“规格”和“购买数量”,单击“立即购买”,确认订单详情,单击“去支付”,根据界面提示完成套餐包支付。 支付完成后,在ModelArts Studio大模型即服务平台创建任务时,选择套餐包规格的公共资源池,在运行任务时即可优先使用套餐包资源。
-
准备OBS桶 在ModelArts Studio大模型即服务平台创建自定义模型、调优或压缩模型时,需要在 对象存储服务 OBS中创建OBS桶,用于存放模型权重文件、训练数据集或者是存放永久保存的日志。 创建OBS桶和上传文件的操作指导请参见OBS控制台快速入门。 仅“华东二”、“西南-贵阳一”和“华北-乌兰察布一”区域支持使用ModelArts Studio大模型即服务平台(MaaS)。 OBS桶必须和MaaS服务在同一个Region下,否则无法选择到该OBS路径。
-
使用流程 表1 MaaS使用流程 步骤 操作 说明 相关文档 1 准备工作 在开始使用ModelArts Studio大模型即服务平台前,需要先准备好相关依赖资源,例如创建OBS桶、创建资源池等。 准备MaaS资源 2 模型创建 在ModelArts Studio大模型即服务平台的“模型广场”中选择大模型模板后,需要先创建自定义大模型,才能进行模型训练和推理,才能获得更适合特定领域或任务的大语言模型。 在MaaS中创建模型 3 模型调优 完成数据集的准备后,可以在ModelArts Studio大模型即服务平台开始模型调优。模型调优,即使用训练数据集和验证数据集训练模型。 使用MaaS调优模型 模型压缩 在ModelArts Studio大模型即服务平台支持对自定义模型进行模型压缩,以此提升推理服务性能、降低部署成本。 使用MaaS压缩模型 4 模型部署 ModelArts Studio大模型即服务平台支持将自定义模型部署到计算资源上,便于在“模型体验”或其他业务环境中可以调用该模型。 使用MaaS部署模型服务 5 模型体验 在ModelArts Studio大模型即服务平台完成模型部署后,可以在“模型体验”调用该模型服务进行功能体验。 在MaaS体验模型服务 调用模型服务 在ModelArts Studio大模型即服务平台完成模型部署后,可以在其他业务环境中调用该模型服务进行预测。 调用MaaS部署的模型服务 免费体验 预置服务 ModelArts Studio大模型即服务平台给新用户分配了每个模型100万Tokens的免费调用额度,无需部署即可一键体验通义千问、ChatGLM等预置模型服务。 免费体验MaaS预置服务 - 应用体验 ModelArts Studio大模型即服务平台提供了MaaS应用实践中心,为具体的应用场景提供一整套解决方案。 在MaaS应用实践中心查看应用解决方案
-
应用场景 ModelArts Studio大模型即服务平台(MaaS)的应用场景: 业界主流开源大模型覆盖全 MaaS集成了业界主流开源大模型,含Llama、Baichuan、Yi、Qwen、DeepSeek模型系列,所有的模型均基于昇腾AI云服务进行全面适配和优化,使得精度和性能显著提升。开发者无需从零开始构建模型,只需选择合适的预训练模型进行微调或直接应用,减轻模型集成的负担。 零代码、免配置、免调优模型开发 平台结合与100+客户适配、调优开源大模型的行业实践经验,沉淀了大量适配昇腾,和调优推理参数的最佳实践。通过为客户提供一键式训练、自动超参调优等能力,和高度自动化的参数配置机制,使得模型优化过程不再依赖于手动尝试,显著缩短了从模型开发到部署的周期,确保了模型在各类应用场景下的高性能表现,让客户能够更加聚焦于业务逻辑与创新应用的设计。 资源易获取,按需收费,按需扩缩,支撑故障快恢与断点续训 企业在具体使用大模型接入企业应用系统的时候,不仅要考虑模型体验情况,还需要考虑模型具体的精度效果,和实际应用成本。 MaaS提供灵活的模型开发能力,同时基于昇腾云的算力底座能力,提供了若干保障客户商业应用的关键能力。 保障客户系统应用大模型的成本效率,按需收费,按需扩缩的灵活成本效益资源配置方案,有效避免了资源闲置与浪费,降低了进入AI领域的门槛。 架构强调高可用性,多数据中心部署确保数据与任务备份,即使遭遇故障,也能无缝切换至备用系统,维持模型训练不中断,保护长期项目免受时间与资源损耗,确保进展与收益。 大模型应用开发,帮助开发者快速构建智能Agents 在企业中,项目级复杂任务通常需要理解任务并拆解成多个问题再进行决策,然后调用多个子系统去执行。MaaS基于多个优质昇腾云开源大模型,提供优质Prompt模板,让大模型准确理解业务意图,分解复杂任务,沉淀出丰富的多个智能Agent,帮助企业快速智能构建和部署大模型应用。
-
应用中心介绍 “MaaS应用实践中心”提供基于行业客户应用场景的AI解决方案。MaaS提供的模型服务和华为云各AI应用层构建工具之间相互连通,通过灵活的组合方案,来帮助客户快速解决模型落地应用时所面临的业务及技术挑战。 MaaS应用实践中心结合 KooSearch 企业搜索服务、盘古数字人大脑和Dify,为具体的客户应用场景提供一整套解决方案。 KooSearch 企业搜索 服务:基于在MaaS开源大模型部署的模型API,搭建企业专属方案、LLM驱动的语义搜索、多模态搜索增强。 盘古数字人大脑:基于在MaaS开源大模型部署的模型API,升级智能对话解决方案,含智能客服、数字人。 Dify:支持自部署的应用构建开源解决方案,用于Agent编排、自定义工作流。
-
使用限制 贵阳一区域:最新的版本因为支持新驱动,目前仅支持使用专属资源池(Snt9b2)。 乌兰一区域:支持使用公共资源池(Snt9b3)。 如果支持公共资源池,但是没开白名单,“资源池类型”选择“公共资源池”时,下方会出现提示:公共资源池暂未完全公开,如需申请使用,请联系与您对接的销售人员或拨打4000-955-988获得支持,您也可以在线提交售前咨询。 如果不支持公共资源池,“公共资源池”按钮会置灰,鼠标悬停时,会提示:该模型版本暂不支持公共资源池部署。
-
背景介绍 Cherry Studio是一款开源的多模型桌面客户端,支持Windows、macOS和Linux系统。它集成了多种主流大语言模型(例如OpenAI、DeepSeek、Gemini等),并支持本地模型运行。此外,它还具备丰富的功能,例如对话知识库、AI绘画、翻译、多模型切换等。 ModelArts Studio(简称MaaS)服务将DeepSeek系列模型部署到平台中,支持广大开发者在线体验或端外调用。同时,MaaS提供免费Token支持开发者免费使用,帮助开发者快速验证和实现创新应用。更多信息,请参见免费体验MaaS预置服务。
-
步骤三:在Cherry Studio中配置MaaS API 添加MaaS提供商。 在Cherry Studio客户端左下角,单击设置图标,在“模型服务”中单击“添加”。 图1 添加提供商 在“添加提供商”对话框,配置提供商名称和提供商类型,然后单击“确定”。 表1 添加提供商参数说明 参数 说明 提供商名称 配置为“华为云ModelArts Studio”,您可以按需修改。 提供商类型 配置为“OpenAI”。 添加API密钥和API地址。 在Cherry Studio客户端左下角,单击设置图标。 在“设置”页面,找到“华为云ModelArts Studio”选项,配置API密钥和API地址。 参数 说明 API密钥 步骤二.1创建的API Key。 API地址 步骤二.2获取的MaaS服务的基础API地址,需要去掉地址尾部的“v1/chat/completions”后填入。 添加模型。 在“模型”区域,单击“添加”。 在“添加模型”对话框,配置模型ID、模型名称和分组名称,单击“添加模型”。 参数 说明 模型 ID 步骤二.2获取的模型名称。 模型名称 自定义模型名称。 分组名称 自定义分组名称。
-
步骤一:在MaaS控制台领取免费体验额度 MaaS提供了一系列可以Severless方式免费调用的模型API。 登录ModelArts Studio控制台,在顶部导航栏选择“西南-贵阳一”区域。 在左侧导航栏,单击“模型推理”。 在“模型推理”页面的“预置服务”页签,单击“预约登记”。开放后您可以领取免费额度及获取付费 API服务 。 在“预置服务”页签,单击DeepSeek服务免费额度列的“领取”。 当免费Token额度用完后,还要继续使用该模型,可以开通付费服务或付费部署为我的服务使用,详情请参见开通服务体验预置服务或使用MaaS部署模型服务。
-
使用限制 贵阳一区域:最新的版本因为支持新驱动,目前仅支持使用专属资源池(Snt9b2)。 乌兰一区域:支持使用公共资源池(Snt9b3)。 如果支持公共资源池,但是没开白名单,“资源池类型”选择“公共资源池”时,下方会出现提示:公共资源池暂未完全公开,如需申请使用,请联系与您对接的销售人员或拨打4000-955-988获得支持,您也可以在线提交售前咨询。 如果不支持公共资源池,“公共资源池”按钮会置灰,鼠标悬停时,会提示:该模型版本暂不支持公共资源池部署。
-
背景介绍 Chatbox是一款开源的跨平台AI客户端应用,支持多种主流语言模型(例如OpenAI的GPT系列、DeepSeek、Claude、Google Gemini Pro等),并具备本地数据存储、图像生成、代码辅助、文档交互、联网搜索、Markdown和LaTeX支持等功能。它还支持团队协作,提供丰富的多语言交互能力,确保用户数据隐私和安全。 ModelArts Studio(简称MaaS)服务将DeepSeek系列模型部署到平台中,基于华为云昇腾云服务的全栈优化适配,可获得持平全球高端GPU部署模型的效果,提供稳定的生产级服务能力,满足业务商用部署需求,支持广大开发者在线体验或端外调用。同时,MaaS提供免费Token支持开发者免费使用,帮助开发者快速验证和实现创新应用。更多信息,请参见免费体验MaaS预置服务。
-
步骤三:在Chatbox中配置MaaS API 在Chatbox平台左下角,单击“设置”。 在“设置”对话框,单击模型提供方下拉框,选择“添加自定义提供方”,配置相关信息,单击“保存”。 图1 添加自定义提供方 表1 添加自定义提供方参数说明 参数 说明 API模式 默认为“OpenAI API兼容” 。 名称 填写“ModelArts Studio”,您可以自定义修改。 API 域名 步骤二.2获取的API地址,需要去掉地址尾部的“/chat/completions”后填入。 API路径 默认为“/chat/completions” 。 API密钥 步骤二.1创建的API Key。 模型 步骤二.2获取的模型名称。
-
使用限制 贵阳一区域:最新的版本因为支持新驱动,目前仅支持使用专属资源池(Snt9b2)。 乌兰一区域:支持使用公共资源池(Snt9b3)。 如果支持公共资源池,但是没开白名单,“资源池类型”选择“公共资源池”时,下方会出现提示:公共资源池暂未完全公开,如需申请使用,请联系与您对接的销售人员或拨打4000-955-988获得支持,您也可以在线提交售前咨询。 如果不支持公共资源池,“公共资源池”按钮会置灰,鼠标悬停时,会提示:该模型版本暂不支持公共资源池部署。
-
权重校验 创建模型时,开启权重校验后,平台会自动创建一个权重校验的任务。在模型版本详情页面的“任务记录”区域,可以查看权重校验任务。 图1 查看权重校验任务 当状态显示运行失败时,鼠标悬停在状态即可查看失败信息,根据失败信息处理问题。常见的权重校验失败信息及其处理建议请参见表4。 表4 权重校验常见的失败信息 失败信息 信息解释 处理建议 Unknown error, please contact the operation and maintenance personnel or check the log to locate the specific problem. 未知错误。 查看日志定位处理问题,或者联系技术支持。 Backend model template selection error (metadata error). 后台模型模板选择错误。 查看日志定位处理问题,或者联系技术支持。 Failed to read standard config.json in the background. 后台读取标准config.json失败。 查看日志定位处理问题,或者联系技术支持。 Failed to read generation_config.json. generation_config.json内容格式错误。 检查“generation_config.json”文件中的内容是否为json格式。 The value of do_sample is not set to true in generation_config.json, which is inconsistent with the configured sampling parameters such as temperature, top_p, top_k etc. 在generation_config.json中没有将do_sample的值设置为true,与配置的temperature、top_p、top_k等采样参数矛盾。 将“generation_config.json”文件中的“do_sample”的值设置为“true”。 Failed to read user config.json. config.json不存在或内容不符合json格式。 检查“config.json”文件是否存在,或者是内容是否为json格式。 The quantization_config field is missing in config.json, please check whether it is awq quantization weight. config.json中缺少quantization_config字段,请检查是否为awq量化权重。 检查权重和模型模板是否匹配。 There is an extra quantization_config field in config.json. Please check whether it is a non-quantized weight. config.json中多出quantization_config字段,请检查是否为非量化权重。 检查权重和模型模板是否匹配。 Key fields describing the model structure are missing from config.json, or their values are inconsistent with standard open source. config.json中缺少描述模型结构的关键字段,或其值与标准开源不一致。 检查“config.json”文件中的配置是否与模型官方一致。 Error loading tokenizer in transformers. transformers加载tokenizer出错。 检查词表文件是否正确。 Error loading weights in transformers. transformers加载权重出错。 检查权重文件是否正确。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格