检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BS。 创建导入任务步骤如下: 登录ModelArts Studio大模型开发平台,单击进入操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据获取 > 数据导入”,单击界面右上角“创建导入任务”。 在“创建导入任务”页面,选择“数据集类型”、“文件格式”和“导入来源”。
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据清洗”,单击界面右上角“创建清洗任务”。 在“创建清洗任务”页面,选择需要清洗的视频类数据集,单击“下一步”。 进入“清洗步骤编排”页面。对于视频类数据集,可选择的清洗算子请参见表1。
其他类数据集当前仅支持发布为“默认格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面,选择数据集模态,如“其他 > 自定义”类型的数据集。
当前仅支持对NLP大模型进行压缩。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型压缩”,单击界面右上角“创建压缩任务”。 在“创建压缩任务”页面,选择需要压缩的基础模型,支持选择已发布模型或未发布模型。
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据清洗”,单击界面右上角“创建清洗任务”。 在“创建清洗任务”页面,选择需要清洗的文本类数据集,单击“下一步”。 进入“清洗步骤编排”页面。对于文本类数据集,可选择的清洗算子请参见文本类清洗算子能力清单。
预测类数据集当前仅支持发布为“默认格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面,选择数据集模态,如“预测 > 时序”类型的数据集。
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据清洗”,单击界面右上角“创建清洗任务”。 在“创建清洗任务”页面,选择需要清洗的气象类数据集,单击“下一步”。 进入“清洗步骤编排”页面。对于气象类数据集,可选择的清洗算子请参见表1。
气象类数据集当前仅支持发布为“默认格式”,操作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面,选择数据集模态,如“气象 > 气象数据”类型的数据集。
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据清洗”,单击界面右上角“创建清洗任务”。 在“创建清洗任务”页面,选择需要清洗的图片类数据集,单击“下一步”。 进入“清洗步骤编排”页面。对于图片类数据集,可选择的清洗算子请参见表1。
创建视频类数据集流通任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面,选择数据集模态,如“视频 > 仅视频”类型的数据集。
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 数据合成”,单击界面右上角“创建合成任务”。 在“创建合成任务”页面,选择需要合成的数据集,单击“下一步”。 进入“合成配置”页面,选择合成内容与合成轮数,可选择开启“将源数据集整合至合成后数据”。
简单介绍,详细步骤请参见使用数据工程构建NLP大模型数据集。 登录ModelArts Studio平台,进入所需空间。 在左侧导航栏中选择“数据工程 > 数据获取”,单击界面右上角“创建导入任务”。 在“创建导入任务”页面选择所需要的“文件内容”、“文件格式”、“导入来源”,并单击“选择路径”上传数据文件。
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。
Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 单击左侧导航栏“调用统计”,选择“NLP”页签。 选择当前调用的NLP大模型,可以按照不同时间跨度查看当前模型的调用总数、调用失败的次数、调用的总Tokens数、以及输入输出的Tokens数等基本信息。 此外,该功能还提供了可视化界面,可额外查看响应时长以及安全护栏拦截次数。
撰写提示词前需要先创建提示词工程,用于对提示词进行统一管理。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示词开发”,单击界面右上角“创建工程”。 输入工程名称、描述,选择行业、标签后。单击“确定”完成工程创建。 图1
创建图片类数据集配比任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据配比”,单击界面右上角“创建配比任务”。 在“数据集选择”页签选择需要配比的文本类数据集(至少选择两个),单击“下一步”。
创建文本类数据集流通任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面,选择数据集模态,如“图片 > 图片+Caption”类型的数据集。
创建文本类数据集配比任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据配比”,单击界面右上角“创建配比任务”。 在“数据集选择”页签选择需要配比的文本类数据集(至少选择两个),单击“下一步”。
给定一个提示和一些参数,模型会根据这些信息生成一个或多个预测的补全,还可以返回每个位置上不同词语的概率。它可以用来做文本生成、自动写作、代码补全等任务。 开发环境要求 华为云盘古大模型推理SDK要求: Java SDK适用于JDK 1.8及其以上版本。 Python SDK适用于Python3及以上版本。 Go
作步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型训练”,单击模型名称进入任务详情页。 单击进入“训练结果”页签,单击“发布”。 图1 训练结果页面 填写资产名称、描述,选择对应的可见性,单击“确定”发布模型。