检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本空间”页面,单击操作列“更多 > 导出”。若无导出选项,请确认该空间是否为当前用户创建的空间。 选择需要导出的模型,应设置导出模型时对应的导出位置(OBS桶地址),添加从环境B中下载的用户证书。设置完成后单击“确定”导出模型。 图3 导出模型 导入盘古大模型至其他局点 导入盘古大模型至其他局点前,请确保当前空间为该用户所创建的空间。
在“数据集选择”页签选择需要进行评估的加工数据集,并设置抽样规格,即从数据集中抽取一定比例数据用于评估。 图3 选择数据集 单击“下一步”选择需要使用的评估标准。标准选择完成后,单击“下一步”设置评估人员。 图4 选择评估标注 图5 选择评估人员 评估人员设置完成后,单击“下一步”填写任务名称。
在“数据集选择”页签选择需要进行评估的加工数据集,并设置抽样规格,即从数据集中抽取一定比例数据用于评估。 图3 选择数据集 单击“下一步”选择需要使用的评估标准。标准选择完成后,单击“下一步”设置评估人员。 图4 选择评估标注 图5 选择评估人员 评估人员设置完成后,单击“下一步”填写任务名称。
审核文本类数据集标注结果 创建数据集标注任务时,如果设置了启用标注审核,在完成标注后可以在“标注审核”页面审核标注结果。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。创建标注任务时如果指定了审核人员,则审核人员可以审核数据集,管理员(主账号)可以对所有数据集进行审核。
审核图片类数据集标注结果 创建数据集标注任务时,如果设置了启用标注审核,在完成标注后可以在“标注审核”页面审核标注结果。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。创建标注任务时如果指定了审核人员,则审核人员可以审核数据集,管理员(主账号)可以对所有数据集进行审核。
审核视频类数据集标注结果 创建数据集标注任务时,如果设置了启用标注审核,在完成标注后可以在“标注审核”页面审核标注结果。 对于审核不合格的数据可以填写不合格原因并驳回给标注员重新标注。创建标注任务时如果指定了审核人员,则审核人员可以审核数据集,管理员(主账号)可以对所有数据集进行审核。
务的授权”弹窗选中授权,并单击“确认授权”。 图1 配置OBS访问授权提示 图2 配置OBS访问授权方式1 方式2:单击首页右上角“设置”,在“设置 > 授权管理”页签中,单击“一键授权”。 图3 配置OBS访问授权方式2 父主题: 准备工作
创建盘古多语言文本翻译工作流 场景描述 该示例演示了如何创建多语言文本翻译工作流,示例将调用华为云文本翻译API,详见文本翻译。 准备工作 提前开通“文本翻译”服务。登录自然语言处理控制台,在总览页面下方开通“文本翻译”服务,单击“开通服务”。 图1 开通文本翻译服务 提前获取文
请求URI 服务的请求URI即API服务的终端地址,通过该地址与API进行通信和交互。获取步骤如下: 登录ModelArts Studio大模型开发平台。 获取模型请求URI。 若调用部署后的模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“我的服务”页签,模型部署列表单
获取模型调用API地址 服务的请求URI即API服务的终端地址,通过该地址与API进行通信和交互。获取步骤如下: 登录ModelArts Studio大模型开发平台。 获取模型请求URI。 若调用部署后的模型,可在左侧导航栏中选择“模型开发 > 模型部署”,在“我的服务”页签,模
单击“确认”。 图2 选择导入的数据 数据集信息设置完成后,填写“数据集名称”和“描述”,并设置“拓展信息”。 拓展信息包括“标签设置”与“数据版权”: 标签设置。通过标签设置,可以给数据集添加行业、语言、标签信息。 数据版权设置。训练模型的数据集除用户自行构建外,也可能会使用开
自监督训练: 不涉及 有监督微调: 该场景采用下表中的微调参数进行微调,您可以在平台中参考如下参数进行训练: 表2 问答模型的微调核心参数设置 训练参数 设置值 数据批量大小(batch_size) 4 训练轮数(epoch) 3 学习率(learning_rate) 3e-6 学习率衰
数量。 数据量以Token为单位。 流水线并行微批次大小 在流水线并行处理中,通过合理设置并行程度,可以减少各阶段之间的空闲等待时间,从而提升整个流水线的效率。 每个数据并行下的批处理大小 设置在并行训练中,每个微批次包含的数据批量大小,适当的数据批量大小能够确保训练各个阶段都能充分利用计算资源,提升并行效率。
d,可获取任务ID参数值。 在Postman中新建一个GET请求,填入域名(将步骤2中获取的URL去除末尾的“/tasks”即为该域名),设置请求Header参数和任务ID参数。单击Postman界面的“Send”发送请求,以获取科学计算大模型的调用结果。 查询科学计算大模型调用详情API
外部知识。 例如,在构造泛化问题的任务中,需要基于原问题改写为相同含义的问题,而不是生成相似的问题。当提示词使用“请生成10个跟“手机银行怎么转账”相似的问题”时,模型会认为实体/关键词/场景一致则是相似(在这个例子里实体为手机银行),而不是任务需要的语义级别的相同含义,所以输出内容会发散。
图2 标注管理 在“创建标注任务”页面选择需要标注的加工后的文本类数据集,并设置标注项。 设置标注项时,不同类型的数据文件对应的标注项也有所差异,可基于页面提示进行设置。 图3 创建标注任务 单击“下一步”设置标注人员及信息,单击“完成创建”。 分配标注任务时,可以选择是否启用多人标
后的视频类数据集,并设置标注项。 当选择“视频Caption”标注项时,可以设置使用AI大模型对数据集进行预标注。启动预标注将会借助AI模型生成标注内容,这些内容不会覆盖原始数据集,仅作为标注人员的参考,以提高标注效率。 图3 创建标注任务 单击“下一步”设置标注人员及信息,单击“完成创建”。
后的图片类数据集,并设置标注项。 当选择“图片Caption”标注项时,可以设置使用AI大模型对数据集进行预标注。启动预标注将会借助AI模型生成标注内容,这些内容不会覆盖原始数据集,仅作为标注人员的参考,以提高标注效率。 图3 创建标注任务 单击“下一步”设置标注人员及信息,单击“完成创建”。
操作流程 登录ModelArts Studio大模型开发平台,进入所需空间。 单击左侧“能力调测”,进入“文本对话”页签,选择服务与人设,参数设置为默认参数,在输入框输入问题,单击“生成”,模型将基于问题进行回答。 图1 使用预置服务进行文本对话 可以尝试修改参数以查看模型效果,示例如下:
结构化信息,可以将有监督的问题设置为“请根据标题xxx/关键性xxx/简介xxx,生成一段不少于xx个字的文本。”,将回答设置为符合要求的段落。 续写:根据段落的首句、首段续写成完整的段落。 若您的无监督文档没有任何结构化信息,可以将有监督的问题设置为“以下是一篇文章的第一个句子