检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入数据过程中，为什么无法选中OBS的具体文件进行上传 在数据导入过程中，平台仅支持通过OBS服务导入文件夹类型的数据，而不支持直接导入单个文件。 您需要将文件整理到文件夹中，并选择该文件夹进行上传。 父主题： 大模型使用类问题
如何将本地的数据上传至平台 ModelArts Studio平台支持从OBS服务导入数据。您可以将本地数据上传至OBS（对象存储服务），然后通过平台提供的“数据导入”功能，将存储在OBS中的数据导入至平台进行使用。
配置服务访问授权 配置OBS访问授权 ModelArts Studio大模型开发平台使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务，有以下两种调用方式： Token认证：通过Token认证调用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。
基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明：https://support.huaweicloud.com/productdesc-obs/obs_03_0375.html 父主题： 安全
平台支持使用OBS服务导入数据，请详见通过控制台快速使用OBS。 创建导入任务步骤如下： 登录ModelArts Studio大模型开发平台，单击进入操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据获取 > 数据导入”，单击界面右上角“创建导入任务”。
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务（Object Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。
get obs bucket folders error. 请检查OBS服务是否正常，是否可以访问OBS桶数据。 数据清洗 dataset is not online. 数据清洗使用的数据集未上线，请先执行上线操作。 invalid obs path.
图1 数据集构建流程图 表1 数据集构建流程表 流程 子流程 说明 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。 加工数据集 清洗数据集 通过专用的清洗算子对数据进行预处理，确保数据符合模型训练的标准和业务需求。
配置服务访问授权 为了能够正常的存储数据、训练模型，需要用户配置盘古访问OBS的权限。 创建并管理盘古工作空间 平台支持用户自定义创建工作空间，并进行空间的统一管理。 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。
表2 盘古CV大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。
授权后，用户就可以基于被授予的权限对云服务进行操作。 服务使用OBS存储训练数据和评估数据，如果需要对OBS的访问权限进行细粒度的控制。可以在盘古服务的委托中增加Pangu OBSWriteOnly、Pangu OBSReadOnly策略，控制OBS的读写权限。
表2 盘古预测大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。
使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭证”页面，获取“IAM用户名”、“账号名”以及待使用区域的“项目ID”。调用服务时会用到这些信息，请提前保存。
支持的接入方式：通过OBS服务导入数据。 支持的数据类型：文本、图片、视频、气象、预测、其他。 自定义格式：用户可以根据业务需求上传自定义格式的数据，提升数据获取的灵活性和可扩展性。 通过这些功能，用户可以轻松将大量数据导入平台，为后续的数据加工和模型训练等操作做好准备。
表2 盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。
表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理，用于后续加工或发布操作。
基本信息 服务名称 设置部署任务的名称。 描述（选填） 设置部署任务的描述。 参数填写完成后，单击“立即部署”。 父主题： 部署科学计算大模型
表5 TaskOutputDto 参数 参数类型 描述 obs ObsStorageDto object 输出数据的OBS信息。
表5 TaskOutputDto 参数 参数类型 描述 obs ObsStorageDto object 输出数据的OBS信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
