检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置服务访问授权 配置OBS访问授权 盘古大模型服务使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够顺利进行存储数据、训练模型等操作,需要用户配置访问OBS服务的权限。
准备工作 请提前准备数据并上传至OBS服务,上传步骤请详见通过控制台快速使用OBS。 操作流程 登录ModelArts Studio大模型开发平台,进入所需空间。 选择左侧“数据工程 > 数据获取”,单击右上角“创建原始数据集”。
准备工作 请提前准备数据并上传至OBS服务,上传步骤请详见通过控制台快速使用OBS。 操作流程 登录ModelArts Studio大模型开发平台,进入所需空间。 选择左侧“数据工程 > 数据获取”,单击右上角“创建原始数据集”。
如果需要使用OBS服务导入数据,请详见通过控制台快速使用OBS。 在使用OBS服务上传数据时,如果遇到网络报错“NET::ERR_CERT_AUTHORITY_INVALID”,是由于域名未绑定有效的SSL证书,导致HTTPS请求被浏览器拦截。
使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭证”页面,获取“IAM用户名”、“账号名”以及待使用区域的“项目ID”。调用服务时会用到这些信息,请提前保存。
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。
IAM身份验证信息不正确: decrypt token fail:token解析失败。 token expires:token过期。 verify aksk signature fail:AK/SK认证失败。
服务使用OBS存储训练数据和评估数据,如果需要对OBS的访问权限进行细粒度的控制。可以在盘古服务的委托中增加Pangu OBSWriteOnly、Pangu OBSReadOnly策略,控制OBS的读写权限。
检查数据集文件是否还存在于原先的OBS桶中。 download obs file failed. 请检查网络是否正常,是否可以访问OBS桶中的数据。 数据评估 annotate type is invalid.
基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明:https://support.huaweicloud.com/productdesc-obs/obs_03_0375.html 父主题: 安全
表5 TaskOutputDto 参数 是否必选 参数类型 描述 obs 是 ObsStorageDto object 输出数据的OBS信息。
表5 TaskOutputDto 参数 参数类型 描述 obs ObsStorageDto object 输出数据的OBS信息。
表5 TaskOutputDto 参数 参数类型 描述 obs ObsStorageDto object 输出数据的OBS信息。
表5 TaskOutputDto 参数 是否必选 参数类型 描述 obs 是 ObsStorageDto object 输出数据的OBS信息。
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要包含一个签名值
作业输入方式 选择 “OBS”表示从OBS中读取数据。 作业输出方式 选择 “OBS”表示将输出结果存储在OBS中。 作业配置参数 设置模型部署参数信息,平台已给出默认值。 架构类型 算法所支持的结构类型,模型选择完成后,会自动适配架构类型。
", "path": "test/" } ] }, "output": { "obs": { "bucket": "pangu-weather-test"
输入模型对应的obs地址和模型名称、选择资源类型、输入资产描述并设置资产可见性后,单击“确定”,启动导入模型任务。 图4 导入模型 父主题: 管理盘古大模型空间资产
如对象存储服务(OBS)、内容分发网络(CDN)等。 选择完成后,单击“确定”。 图4 设置最小授权范围 单击“完成”,完成用户组授权。 图5 完成授权 创建盘古子用户 使用主账号登录IAM服务控制台。 左侧导航窗格中,选择“用户”页签,单击右上方的“创建用户”。
上传文本类数据至OBS服务,上传步骤请详见通过控制台快速使用OBS。 操作流程 盘古NLP大模型SFT任务创建流程见表1。