检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过Function Calling扩展大语言模型对外部环境的理解 本示例将展示如何定义一个获取送货日期的函数，并通过LLM来调用外部API来获取外部信息。 操作步骤 设置Maas的api key和模型服务地址。 import requests from openai import
在左上角的服务列表中，选择OBS服务，进入OBS管理控制台。 在OBS管理控制台，单击右上角的“创建桶”，如果能正常打开页面，表示当前用户具备OBS的操作权限。 验证SWR权限。 在左上角的服务列表中，选择SWR服务，进入SWR管理控制台。 在SWR管理控制台，如果能正常打开页面，表示当前用户具备SWR的操作权限。
设置推理核采样。调整输出文本的多样性，数值越大，生成文本的多样性就越高。 取值范围：0.1~1 默认值：1 top_k 选择在模型的输出结果中选择概率最高的前K个结果。 取值范围：1~1000 默认值：20 当Tokens的免费调用额度使用完时，操作列的“在线体验”会置灰。 方式二
夹，删除OBS对象和桶。 ModelArts SDK具体操作管理请参见如下章节： 数据管理 训练管理 模型管理 服务管理 介绍使用ModelArts SDK进行的常用操作。
只有状态为“正常”的版本，才能被设置为当前版本。 删除数据集版本 登录ModelArts管理控制台，在左侧菜单栏中选择“资产管理>数据集”，进入“数据集”管理页面。 在数据集列表中，单击操作列的“更多 > 版本管理”，进入数据集“版本管理”页面。 选择需删除的版本所在行，单击操作列的“删除”
Standard支持的AI框架 ModelArts Standard的开发环境Notebook、训练作业、模型推理（即模型管理和部署上线）支持的AI框架及其版本，请参见如下描述。 统一镜像列表 ModelArts提供了ARM+Ascend规格的统一镜像，包括MindSpore、P
权限策略和授权项 策略及授权项说明 数据管理权限 开发环境权限 训练作业权限 模型管理权限 服务管理权限 工作空间管理权限 DevServer权限
5.0）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大max-model-len长度，不代表最佳性能。
6.0）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大max-model-len长度，不代表最佳性能。
Gallery（新版） AI Gallery使用流程 发布和管理AI Gallery模型 发布和管理AI Gallery数据集 发布和管理AI Gallery项目 发布和管理AI Gallery镜像 发布和管理AI Gallery中的AI应用 使用AI Gallery微调大师训练模型 使用AI
当您需要在AI Gallery下架共享的资产时，可以执行如下操作： 在“AI Gallery”页面，选择“我的Gallery > 我的资产 > Notebook”，进入“我的Notebook”。 在“我的Notebook > 我的发布”页面，单击目标资产右侧的“下架”，在弹框中确认资产信息，单击“确定”完成下架。
5.0）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大max-model-len长度，不代表最佳性能。
5.0）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大max-model-len长度，不代表最佳性能。
6.0）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大max-model-len长度，不代表最佳性能。
5.0）部署推理服务时，不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明，如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出，为服务部署所需的最小昇腾卡数及该卡数下推荐的最大max-model-len长度，不代表最佳性能。
SDK）是对ModelArts服务提供的REST API进行的Python封装，以简化用户的开发工作。用户直接调用ModelArts SDK即可轻松管理数据集、启动AI训练以及生成模型并将其部署为在线服务。 ModelArts SDK目前只提供Python语言的SDK，同时支持大于3.7.x版本且小于3
--datasets：评测的数据集及评测方法，其中 mmlu 是数据集，ppl 是评测方法。 --hf-type：HuggingFace模型权重类型(base,chat)，默认为chat，依据实际的模型选择。 --hf-path：本地 HuggingFace 权重的路径，比如/home
ModelArts的Notebook是否支持Keras引擎？ 开发环境中的Notebook支持。训练作业和模型部署（即推理）暂时不支持。 Keras是一个用Python编写的高级神经网络API，它能够以TensorFlow、CNTK或者Theano作为后端运行。Notebook开发环境支持“tf
如何将本地标注的数据导入ModelArts？ ModelArts支持通过导入数据集的操作，导入更多数据。本地标注的数据，当前支持从OBS目录导入或从Manifest文件导入两种方式。导入之后您还可以在ModelArts数据管理模块中对数据进行重新标注或修改标注情况。 从OBS目录
回订阅”可以管理已订阅的资产。 我的案例 展示个人发布的资产案例和已订阅的资产案例。 “我的发布”：可以查看个人发布的案例信息。 “我的订阅”：可以查看个人订阅的案例信息。 我的AI说 展示个人发布的技术文章列表，可以查看文章浏览量、收藏量、订阅量等信息。通过右侧的“删除”可以管理已发布的技术文章。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
