检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若选择使用加工模板,将删除当前已编排的加工步骤。 图4 算子编排 图5 选择加工模板 算子编排完成后,单击“立即执行”,平台会直接启动数据加工任务。若单击“保存”,数据集列表页中将新增一个任务状态为“待处理”的数据加工任务,可单击操作列“执行”启动加工。 图6 数据加工 图7 执行加工 当加工数据集任
数据集名称及描述,单击“下一步”。 图4 创建加工数据集 在左侧算子列表中添加相应的数据加工算子,单击“立即执行”。 图5 加工算子编排 单击“执行”,开始执行加工任务,加工成功的数据集的任务状态为“成功”,单击“上线”,用于后续标注操作。 图6 上线加工后的数据集 步骤3:标注文本类数据集
若选择使用加工模板,将删除当前已编排的加工步骤。 图4 算子编排 图5 选择加工模板 算子编排完成后,单击“立即执行”,平台会直接启动数据加工任务。若单击“保存”,数据集列表页中将新增一个任务状态为“待处理”的数据加工任务,可单击操作列“执行”启动加工。 图6 数据加工 图7 执行加工 当加工数据集任
移交给其他人员,可以单击操作列“移交”设置移交人员以及移交的数量。 图5 标注作业 图6 移交标注任务 进入标注页面后,逐一对数据进行标注。 以标注视频Caption数据为例,需要逐一标注视频的质量,如图7。 图7 视频类数据集标注示例 一条数据标注完成后,单击“提交”可继续标注
数据参考格式如下: 图1 数据参考格式 图2 数据示例 创建提示词评估数据集 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 > 提示词工程 > 提示用例管理”,单击页面右上角“创建提示用例集”。 图3 提示用例管理 在“创建数据集”页面完成数据集的上传。
登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 单击左侧“模型开发 > 模型部署”。 调用已部署的模型。单击状态为“运行中”的模型名称,在“详情”页签,可获取API的URL。 图2 获取已部署模型的调用路径 调用预置服务。在“预置服务”页签中,
题进行回答。 图1 使用预置服务进行文本对话 可以尝试修改参数以查看模型效果,示例如下: 将“核采样”参数调小,如改为0.1,保持其他参数不变,单击“重新生成”,再单击“重新生成”,可以看到模型前后两次回复内容的多样性降低。 图2 “核采样”参数调小后生成结果1 图3 “核采样”参数调小后生成结果2
方式1:在首页顶部单击“此处”,在“获取依赖服务的授权”弹窗选中授权,并单击“确认授权”。 图1 配置OBS访问授权提示 图2 配置OBS访问授权方式1 方式2:单击首页右上角“设置”,在“设置 > 授权管理”页签中,单击“一键授权”。 图3 配置OBS访问授权方式2 父主题: 准备工作
写”。 图1 提示词工程 在“撰写”页面,选择左侧导航栏中的“候选”。在候选列表中,勾选需要进行横向比对的提示词,并单击“横向比较”。 图2 横向比较 进入到横向比较页面,下拉页面至“提示词效果比较”模块,比较提示词的效果,输入相同的变量值,查看两个提示词生成的结果。 图3 横向比对提示词效果
下一步”。 图2 选择数据集 在加工步骤编排页面展示了预先设置好的开始、结束步骤。在左侧“添加算子”分页可选择合适的算子,如个人数据脱敏、文本长度过滤等。 导入的数据集格式为“JSONL”,因此默认添加了JSON内容提取算子。 图3 加工算子编排 单击各算子右上角的图标可进行拖动,调整算子的编排顺序。
登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”。 单击操作列“报告”可以查看详细的质量评估报告。 图2 查看数据集评估报告 在“查看评估报告”页面,可以查看评估概览、通过率、评估类别分布等信息。
登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据评估 > 评估任务”。 单击操作列“报告”可以查看详细的质量评估报告。 图2 查看数据集评估报告 在“查看评估报告”页面,可以查看评估概览、通过率、评估类别分布等信息。
在“高级配置 > 知识”,单击“添加”。 在“添加知识”窗口,单击“点此上传”,上传知识文件。 图1 添加知识 上传完成后,单击“确定”。 在“高级配置”中,可查看上传成功的知识文件。 图2 知识上传成功 父主题: 手工编排Agent应用
若调用已部署的模型,单击状态为“运行中”的模型名称,在“详情”页签,可获取API的URL。 图1 获取已部署模型的调用路径 若调用预置服务,在“预置服务”页签中,选择所需调用的科学计算大模型,单击“调用路径”,在“调用路径”弹窗获取调用路径。 图2 获取预置服务调用路径 获取Token。参考《API参考》文档“如何调用REST
视频类数据集,详见发布视频类数据集。 图片类数据集,详见发布图片类数据集。 气象类数据集,详见发布气象类数据集。 预测类数据集,详见发布预测类数据集。 其他类数据集,详见发布其他类数据集。 支持发布的数据格式 ModelArts Studio大模型开发平台支持将文本类、图片类数据集发布为三种格式:
模型部署”,选择所需调用的NLP大模型,单击“调用路径”,在“调用路径”弹窗获取调用路径及部署ID。 图1 获取调用路径和部署ID 获取项目ID。在页面右上角“我的凭证”,在“API凭证”页面可获取项目ID。 图2 获取项目ID 获取Token。参考《API参考》文档“如何调用REST API认证鉴权”章节获取Token。
填写空间名称、描述,单击“确认”,完成空间的创建。 图1 创建空间 单击创建好的空间,进入ModelArts Studio大模型开发平台,平台支持数据工程、模型开发、Agent开发等功能。 如果用户具备多个空间的访问权限,可在页面左上角单击切换空间。 图2 切换空间 管理盘古工作空间 盘古工作
Studio开发平台中,数据工程功能提供了完整的解决方案,用于高效构建和管理数据集,其操作流程见图1、表1。这种全面的数据准备机制,确保了数据质量的可靠性,为各类模型开发奠定了坚实的基础。 图1 数据集准备与处理流程图 表1 数据集准备与处理流程表 流程 子流程 说明 导入数据至盘古平台 创建原始数据集
Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注审核” 在“标注审核”页面,单击操作列“审核”可进入审核页面审核数据。 图2 标注审核 如果需要将该审核任务移交给其他人员,可以单击操作列“移交”设置移交人员以及移交的数量。 图3 移交审核任务
Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 在左侧导航栏中选择“数据工程 > 数据标注 > 标注审核” 在“标注审核”页面,单击操作列“审核”可进入审核页面审核数据。 图2 标注审核 如果需要将该审核任务移交给其他人员,可以单击操作列“移交”设置移交人员以及移交的数量。 图3 移交审核任务