检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置服务访问授权 配置OBS访问授权 ModelArts Studio大模型开发平台使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够顺利进行存储数据、训练模型等操作,需要用户配置访问OBS服务的权限。
申请试用盘古大模型服务 盘古大模型为用户提供了服务试用,需提交试用申请。 试用申请步骤如下: 登录ModelArts Studio大模型开发平台。 单击“试用咨询”,进入华为云售前咨询页面。 图1 申请试用 填写姓名、联系电话等用户信息,单击“提交申请”进行表单预约。 父主题: 准备工作
击“下一步”。 在“配置信息”页面,参照表1完成信息配置。 表1 插件信息配置说明 参数名称 参数说明 插件URL 插件服务的请求URL地址。 URL协议只支持HTTP和HTTPS。 系统会校验URL地址是否为标准的URL格式。 URL对应的IP默认不应为内网,否则会导致注册失败
准备工作 申请试用盘古大模型服务 订购盘古大模型服务 配置服务访问授权 创建并管理盘古工作空间
表1 CV大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“CV大模型”。 部署模型 选择需要进行部署的模型。 部署方式 选择“云上部署”。 安全护栏 选择模式 安全护栏保障模型调用安全。 选择类型 当前支持安全护栏基础版,内置了默认的内容审核规则。
会先删除旧版本,再进行升级,期间旧版本不可使用。 图1 升级模式 升级配置后,需重新启动该部署任务,升级模式即为重启的方式。 修改部署配置 完成创建CV大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下: 登录ModelArts Studio大
先删除旧版本,再进行升级,期间旧版本不可使用。 图1 升级模式 升级配置后,需重新启动该部署任务,升级模式即为重启的方式。 修改部署配置 完成创建科学计算大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下: 登录ModelArts Studio
创建科学计算大模型部署任务 平台支持部署训练后的模型或预置模型,操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。 在“创建部署”页面,参考表1完成部署参数设置。 表1 科学计算大模型部署参数说明
表1 NlP大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“NLP大模型”。 部署模型 选择需要进行部署的模型。 部署方式 选择“云上部署”。 最大TOKEN长度 模型可最大请求的上下文TOKEN数。 安全护栏 选择模式
会先删除旧版本,再进行升级,期间旧版本不可使用。 图1 升级模式 升级配置后,需重新启动该部署任务,升级模式即为重启的方式。 修改部署配置 完成创建NLP大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下: 登录ModelArts Studio
可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 父主题: 安全
表1 预测大模型部署参数说明 参数分类 部署参数 参数说明 部署配置 模型来源 选择“盘古大模型”。 模型类型 选择“预测大模型”。 部署模型 选择需要进行部署的模型。 部署方式 选择“云上部署”。 安全护栏 选择模式 安全护栏保障模型调用安全。 选择类型 当前支持安全护栏基础版,内置了默认的内容审核规则。
会先删除旧版本,再进行升级,期间旧版本不可使用。 图1 升级模式 升级配置后,需重新启动该部署任务,升级模式即为重启的方式。 修改部署配置 完成创建预测大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下: 登录ModelArts Studio大
创建并管理盘古工作空间 部署NLP大模型 创建NLP大模型部署任务 部署后的模型可用于后续调用操作。 创建NLP大模型部署任务 查看NLP大模型部署任务详情 查看部署任务的详情,包括部署的模型基本信息、任务日志等。 查看NLP大模型部署任务详情 管理NLP大模型部署任务 可对部署任务执行执行描述、删除等操作。
创建专业大模型部署任务 平台支持部署预置的专业大模型,操作步骤如下: 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“模型开发 > 模型部署”,单击界面右上角“创建部署”。 在“创建部署”页面,参考表1完成部署参数设置。 表1 专业大模型部署参数说明
范围:[0,1)。 给输入数据加噪音的概率 定义了给输入数据加噪音的概率,定义了给输入数据加噪音的概率。加噪音是一种正则化技术,它通过在输入数据中添加随机噪音来增强模型的泛化能力。取值范围:[0,1]。 给输入数据加噪音的尺度 给输入数据加噪音的尺度,定义了给输入数据加噪音的尺度
会先删除旧版本,再进行升级,期间旧版本不可使用。 图1 升级模式 升级配置后,需重新启动该部署任务,升级模式即为重启的方式。 修改部署配置 完成创建专业大模型部署任务后,可以修改已部署模型的描述信息并升级配置,但不可替换模型。具体步骤如下: 登录ModelArts Studio大
调试应用的步骤如下: 在页面右上角单击,参考表2配置大模型参数。 表2 大模型参数配置 参数 说明 模型选择 选择要使用的大模型,不同的模型效果存在差异。 该模型需提前部署,步骤请参见创建NLP大模型部署任务。 模式选择 用于配置大模型的输出多样性。 包含取值: 精确的:模型的输
单元默认采用包周期计费,数据智算单元、数据通算单元默认采用按需计费,训练单元采用包周期和按需计费两种方式。 盘古大模型使用周期内不支持变更配置。
左侧导航窗格中,选择“用户”页签,单击右上方的“创建用户”。 图6 创建用户 配置用户基本信息,单击“下一步”。 配置用户信息时,需要勾选“编程访问”,如果未勾选此项,会导致IAM用户无法使用盘古服务API、SDK。 图7 配置用户基本信息 将用户添加至创建用户组步骤中创建的用户组,单击“创建用户”,完成IAM用户的创建。