检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文本、视频、预测和其他类（自定义）数据集支持文件夹或单个文件导入，导入界面提示用户：“请选择文件夹或文件”。 图1 支持导入单个文件示例 图片、视频（事件检测）、气象类数据集仅支持文件夹导入，导入界面提示用户：“请选择文件夹”。 图2 不支持导入单个文件示例 父主题： 大模型使用类
描述 填写评测任务描述。 参数填写完成后，单击“立即创建”，回退至“模型评测 > 人工评测”页面。 当状态为“待评测”时，可以单击操作列“在线评测”进入评测页面。 依据页面提示对评估效果区域进行评测打分，全部数据评测完成后单击“提交”。 图1 人工评测示例 在“人工测评”页面，评
单个文件大小不超过50GB，文件数量最多1000个，示例如下所示： 异常检测 图片+txt 文件存放方式要求满足异常检测格式，即标注文件和图片存于同一文件夹，正常和异常分文件夹创建。 图片支持jpg、jpeg、png、bmp格式，标注文件为txt格式，标注文件说明请参见异常检测数据集标注文件说明。 单个文件大小不超
标注任务”，单击页面右上角“创建标注任务”。 在“创建标注任务”页面选择需要标注的图片类数据集与标注项。 如果选择“图片Caption”或“物体检测”标注项，则可开启“AI预标注”功能。AI预标注将自动生成标注内容，不会覆盖原始数据集，供标注人员参考，以提高标注效率。 可选择开启“多人
、数据评估、数据配比、数据发布和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工程工具链还提供强大的数据存储和管理能力，为大模型训练提供高质量的数据支撑。
大模型的训练数据可能包含不适当或有害的内容。使用自然语言处理工具和规则集来检测并过滤掉这些内容，以确保训练数据的安全性和道德性。 同质数据处理 ：同质的数据可能导致模型的偏倚和过拟合。可以使用哈希算法或文本相似度测量方法来检测并去除重复的数据条目。 典型的数据加工方法及示例见表1 典型数据加工方法。ModelArts
支持mp4、avi视频格式上传，所有视频可以放在多个文件夹下，每个文件夹下可以同时包含mp4或avi格式的视频。 单个文件大小不超过50GB，文件数量最多1000个。 事件检测 视频+json 数据源样本为avi、mp4格式，标注文件为json格式。必须包含两个及以上后缀名字为avi或者mp4的文件。 每个视频时
Pangu-NLP-N4-32K 包年/包月（1~9个月，包年为1年） CV大模型 盘古-CV-基础模型 Pangu-CV-物体检测-N Pangu-CV-物体检测-S Pangu-CV-图像分类 Pangu-CV-语义分割 包年/包月（1~9个月，包年为1年） 预测大模型 盘古-预测-模型
索的知识型Agent，如搜索问答助手、代码生成助手等，执行主体在大模型；另一种是针对复杂工作流场景的流程型Agent，如金融分析助手、网络检测助手等。 知识型Agent：以大模型为任务执行核心，用户通过配置Prompt、知识库等信息，实现工具自主规划与调用，优点是可零码开发，对话
有图片需保存为tar包。 QA对格式支持：jsonl 物体检测 图片格式支持：jpg、jpeg、png、bmp 标注格式支持：xml 图像分类 图片格式支持：jpg、jpeg、png、bmp 标注格式支持：txt 异常检测 图片格式支持：jpg、jpeg、png、bmp 标注格式支持：txt
来源一：互联网开源数据集，如政府网站网页、政府在线问答公开数据、政务百科等。 来源二：特定的私域数据，针对于具体场景和项目需求，收集相关的文本数据。比如通过与当地政府的政数局进行合作，获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文件
@huaweicloud/huaweicloud-sdk-core npm i @huaweicloud/huaweicloud-sdk-pangulargemodels 在线生成SDK代码 API Explorer可根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API Explor
配置NFS网盘服务。 安装NFS服务 该步骤需要设备联网下载软件依赖包。 Ubuntu系统 在线安装： sudo apt install nfs-kernel-server Euler OS系统 在线安装： sudo yum install nfs-utils 若需离线安装，请联系盘古客服。
ts Studio大模型开发平台承载，它提供了包括盘古大模型在内的多种大模型服务，提供覆盖全生命周期的大模型工具链。 产品介绍 立即使用 在线体验 图说ECS 成长地图 由浅入深，带您玩转盘古大模型 01 了解 了解盘古大模型的概念、优势、应用场景以及模型能力与规格，您将更全面地
重要。不同模型在预训练、微调、模型评测、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古NLP大模型支持的具体操作： 表2 盘古NLP大模型支持的能力 模型 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-NLP-N1-Chat-32K-20241130
自定义正则过滤 删除符合自定义正则表达式的数据。 自定义关键词过滤 剔除包含关键词的数据。 敏感词过滤 对文本中涉及黄色、暴力、政治等敏感数据进行自动检测和过滤。 文本长度过滤 按照设置的文本长度，保留长度范围内的数据进行。 冗余信息过滤 按照段落粒度，删除文本中的冗余信息，不改变数据条目。
在选择和使用盘古大模型时，了解不同模型所支持的操作行为至关重要。不同模型在预训练、微调、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古专业大模型支持的具体操作： 模型 预训练 微调 模型压缩 在线推理 能力调测 Pangu-NLP-BI-4K-20241130
智能安防的应用与优势 在智能安防方面，AI助手同样发挥着重要作用。借助先进的图像识别技术，AI助手可以实时监控家中情况，识别异常行为并及时通知用户。例如，当检测到有人闯入时，系统会立即发送警报信息给用户手机，并记录下入侵者的影像资料。此外，AI助手还能与智能门锁、门窗传感器等设备联动，提供全方位的家庭安全保障。
型在预训练、微调、模型评测、模型压缩、在线推理和能力调测等方面的支持程度各不相同，开发者应根据自身需求选择合适的模型。以下是盘古科学计算大模型支持的具体操作： 表2 盘古科学计算大模型支持的操作 模型 预训练 微调 模型评测 模型压缩 在线推理 能力调测 Pangu-AI4S-Ocean_24h-20241130
、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据，满足不同训练和评测任务的需求。通过提供自动化的质量检测和数据清洗能力，对原始数据进行优化，确保其质量和一致性。同时，数据工程工具链还提供强大的数据存储和管理能力，为大模型训练提供高质量的数据支撑。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
