检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面选择数据集模态并选择数据集文件。 单击“下一步”,选择发布格式,填写名称,选择数据集可见性,单击“下一步”。 如果评测盘古大模型, 需要在流通数据集时,将数据集格式发布为“盘古格式”。 选择“资源配置”,并单击“确
邮件将提醒发送给用户。 基本信息 名称 训练任务名称。 描述 训练任务描述。 参数填写完成后,单击“立即创建”。 创建好训练任务后,页面将返回“模型训练”页面,可随时查看当前任务的状态。 创建NLP大模型增量预训练任务 在模型完成创建NLP大模型预训练任务预训练后,可以对训练后的
图1 json解析报错 服务端返回的数据格式不符合json格式,导致sdk侧解析json数据报错。 服务端返回的json数据不符合json反序列化的规则,和sdk定义的数据结构不一致,导致反序列化失败。 sdk json数据解析问题。 建议排查服务端返回的数据是否和服务SDK设计的结构、字段一致。
在左侧导航栏中选择“数据工程 > 数据加工 > 数据标注”,单击页面右上角“创建标注任务”。 在“创建标注任务”页面选择需要标注的视频类数据集与标注项,单击“下一步”。 如果选择“视频Caption”标注项,则可开启“AI预标注”功能。AI预标注将自动生成标注内容,不会覆盖原始数据集,供标注人员参考,以提高标注效率。
数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面,选择数据集模态,如“预测 > 时序”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“格式配置”选择发布格式。当前预测类数据集仅支持发布默认格式。 填写数据集名称、描述,设置数据集“资产可见性”,设置扩展信息后,单击“确定”执行数据集流通操作。
数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面,选择数据集模态,如“其他 > 自定义”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“格式配置”选择发布格式。当前其他类数据集仅支持发布默认格式。 填写数据集名称、描述,设置数据集“资产可见性”,设置扩展信息后,单击“确定”执行数据集流通操作。
保障数据和资源的隔离性与安全性。用户可以根据需求灵活划分工作空间,实现资源的有序管理与优化配置,确保各类资源在不同场景中的最大化利用。为进一步优化资源的管理,平台还提供了多种角色权限体系。用户可以根据自身角色从管理者到各模块人员进行不同层级的权限配置,确保每个用户在其指定的工作空
方案设计 虽然传统人工翻译可以提供高质量的结果,但其效率较低且成本高昂。相对而言,机器翻译虽然在速度和成本上具备优势,但在准确性和语境理解上仍存在一定的不足,例如,处理复杂、专业的内容时。 为了解决这些问题,构建一个自动化的多语言翻译工作流显得尤为重要。通过集成翻译工具(如机器翻
数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面,选择数据集模态,如“气象 > 气象数据”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“格式配置”选择发布格式。当前气象类数据集仅支持发布默认格式。 填写数据集名称、描述,设置数据集“资产可见性”,设置扩展信息后,单击“确定”执行数据集流通操作。
数据流通”,单击界面右上角“创建流通任务”。 在“创建流通任务”页面,选择数据集模态,如“视频 > 仅视频”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“格式配置”选择发布格式。当前视频类数据集仅支持发布默认格式。 填写数据集名称、描述,设置数据集“资产可见性”,设置扩展信息后,单击“确定”执行数据集流通操作。
模型资产:平台提供的模型资产涵盖了预置或训练后发布的模型,所有这些模型将存放于空间资产中进行统一管理。用户可查看预置模型的历史版本和操作记录,还可以执行模型的进一步操作,包括训练、压缩、部署等。此外,平台支持导出和导入盘古大模型的功能,使用户能够将其他局点的盘古大模型迁移到本局点,便于模型资源共享。 父主题:
展示的策略进行选择。 INT8:该压缩策略将模型参数压缩至8位字节,可以有效降低推理显存占用。 INT4:该压缩策略与INT8相比,可以进一步减少模型的存储空间和计算复杂度。 配置资源。选择计费模式并设置训练单元。 可选择开启订阅提醒。开启后,系统将在本次压缩任务状态变更时,向用户发送短信/邮件提醒。
数据合成”,单击界面右上角“创建合成任务”。 在“创建合成任务”页面,选择需要合成的数据集,单击“下一步”。 进入“合成配置”页面,选择合成内容与合成轮数,可选择开启“将源数据集整合至合成后数据”。 单击“下一步”,进入“指令编排”页面,单击右上角“添加指令”。 在“添加指令”页面可选择预置指令或自定义指令。
在“创建标注任务”页面选择需要标注的文本类数据集,并选择标注项。 选择标注项时,不同类型的数据文件对应的标注项有所差异,可基于页面提示进行选择。 单击“下一步”,可查看效果预览。 单击“下一步”,参考表1配置标注分配与审核。 表1 标注分配与审核配置 参数类型 参数名称 参数说明 标注分配 启用多人标注 关闭时,默认管理员单人标注。
应用提示词实现智能客服系统的意图匹配 应用场景说明:智能客服系统中,大模型将客户问题匹配至语义相同的FAQ问题标题,并返回标题内容,系统根据匹配标题调出该FAQ问答对,来解答客户疑问。 父主题: 提示词应用示例
在左侧导航栏中选择“数据工程 > 数据加工 > 数据清洗”,单击界面右上角“创建清洗任务”。 在“创建清洗任务”页面,选择需要清洗的视频类数据集,单击“下一步”。 进入“清洗步骤编排”页面。对于视频类数据集,可选择的清洗算子请参见表1。 在左侧“添加算子”分页勾选所需算子。 在右侧“清洗步骤编排
在左侧导航栏中选择“数据工程 > 数据加工 > 数据清洗”,单击界面右上角“创建清洗任务”。 在“创建清洗任务”页面,选择需要清洗的文本类数据集,单击“下一步”。 进入“清洗步骤编排”页面。对于文本类数据集,可选择的清洗算子请参见文本类清洗算子能力清单。 在左侧“添加算子”分页勾选所需算子。 在
在左侧导航栏中选择“数据工程 > 数据加工 > 数据清洗”,单击界面右上角“创建清洗任务”。 在“创建清洗任务”页面,选择需要清洗的图片类数据集,单击“下一步”。 进入“清洗步骤编排”页面。对于图片类数据集,可选择的清洗算子请参见表1。 在左侧“添加算子”分页勾选所需算子。 在右侧“清洗步骤编排
在左侧导航栏中选择“数据工程 > 数据加工 > 数据清洗”,单击界面右上角“创建清洗任务”。 在“创建清洗任务”页面,选择需要清洗的气象类数据集,单击“下一步”。 进入“清洗步骤编排”页面。对于气象类数据集,可选择的清洗算子请参见表1。 在左侧“添加算子”分页勾选所需算子。 在右侧“清洗步骤编排
在“创建流通任务”页面,选择数据集模态,如“图片 > 图片+Caption”类型的数据集。 图1 选择数据集模态 选择数据集,单击“下一步”。 在“格式配置”选择发布格式。由于数据工程需要支持对接盘古大模型,为了使这些数据集能够被这些大模型正常训练,平台支持发布不同格式的数据集。