检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何对盘古大模型的安全性展开评估和防护 盘古大模型的安全性主要从以下方面考虑： 数据安全和隐私保护：大模型涉及大量训练数据，这些数据是重要资产。为确保数据安全，需在数据和模型训练的全生命周期内，包括数据提取、加工、传输、训练、推理和删除的各个环节，提供防篡改、数据隐私保护、加密、
安全 责任共担 身份认证与访问控制 数据保护技术 审计
查看提示词评估结果 评估任务创建完成后，会跳转至“评估”页面，在该页面可以查看评估状态。 图1 查看提示词评任务状态 单击“评估名称”，进入评估任务详情页，可以查看详细的评估进度，例如在图2中有10条评估用例，当前已评估8条，剩余2条待评估。 图2 查看评估进展 评估完成后，可以查看每条数据的评估结果。
查看NLP大模型评测报告 评测任务创建成功后，可以查看大模型评测任务报告，具体步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“模型开发 > 模型评测”。 单击操作列“评测报告”，在“评测报告”页面，可以查看评测任务的基本信息及评测概览。
要将评估类别、评估项、评估项说明填写清晰，填写时确保描述无歧义。 单击“完成创建”以创建评估标准。 评估标准创建完成后可以在“人工评估标准”页面查看创建的评估标准，并支持编辑与删除操作。 创建视频类数据集评估任务 平台仅支持对“加工数据集”执行评估操作。 创建视频类数据集评估任务
创建提示词评估数据集 批量评估提示词效果前，需要先上传提示词变量数据文件用于创建对应的评估数据集。 提示词变量是一种可以在文本生成中动态替换的占位符，用于根据不同的场景或用户输入生成不同的内容。其中，变量名称可以是任意的文字，用于描述变量的含义或作用。 提示词评估数据集约束限制 上传文件限xlsx格式。
勾选需要进行横向比对的提示词，并单击“创建评估”。 图1 创建评估 选择评估使用的变量数据集和评估方法。 评估用例集：根据选择的数据集，将待评估的提示词和数据集中的变量自动组装成完整的提示词，输入模型生成结果。 评估方法：根据选择的评估方法，对模型生成结果和预期结果进行比较，并根据算法给出相应的得分。
要将评估类别、评估项、评估项说明填写清晰，填写时确保描述无歧义。 单击“完成创建”以创建评估标准。 评估标准创建完成后可以在“人工评估标准”页面查看创建的评估标准，并支持编辑与删除操作。 创建文本类数据集评估任务 平台仅支持对“加工数据集”执行评估操作。 创建文本类数据集评估任务
效果评估与优化 在低代码构建多语言文本翻译工作流中，优化和评估的关键在于如何设计和调整prompt（提示词）。prompt是与大模型或其他节点（如翻译插件）交互的核心，它直接影响工作流响应的准确性和效果。因此，效果评估与优化应从以下几个方面进行详细分析： 评估工作流响应的准确性：
要将评估类别、评估项、评估项说明填写清晰，填写时确保描述无歧义。 单击“完成创建”以创建评估标准。 评估标准创建完成后可以在“人工评估标准”页面查看创建的评估标准，并支持编辑与删除操作。 创建图片类数据集评估任务 平台仅支持对“加工数据集”执行评估操作。 创建图片类数据集评估任务
审计 云审计服务（Cloud Trace Service，CTS）是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后，CTS可记录用户使用盘古的管理事件和数据事件用于审计。
批量评估提示词效果 创建提示词评估数据集 创建提示词评估任务 查看提示词评估结果 父主题： 开发盘古大模型提示词工程
为什么微调后的盘古大模型评估结果很好，但实际场景表现很差 当您在微调过程中，发现模型评估的结果很好，一旦将微调的模型部署以后，输入一个与目标任务同属的问题，回答的结果却不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 测试集质量：请检查测试集的目标任务和分布与实际场
数据保护技术 盘古大模型服务通过多种数据保护手段和特性，保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密（HTTPS） 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和
如何评估微调后的盘古大模型是否正常 评估模型效果的方法有很多，通常可以从以下几个方面来评估模型训练效果： Loss曲线：通过Loss曲线的变化趋势来评估训练效果，确认训练过程是否出现了过拟合或欠拟合等异常情况。 模型评估：使用平台的“模型评估”功能，“模型评估”将对您之前上传的测
和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施，包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题： 安全
和成本，从而显著地提高标注效率。 数据评估：平台支持对处理后的文本、图片、视频等多种格式数据进行质量评估，并预置了基础的评估标准，用户可以直接使用预置标准或创建自定义评估标准，以满足个性化的数据质量需求。最终生成详细的质量评估报告，这些报告能够帮助用户检验数据的准确性、完整性和一
Studio大模型开发平台提供的数据发布功能涵盖数据评估、数据配比和数据流通操作，旨在通过数据质量评估和合理的比例组合，确保数据满足大模型训练的多样性、平衡性和代表性需求，促进数据的高效流通和应用。 数据发布不仅包括将数据发布为适合使用的格式，还要求根据任务需求评估数据集效果，并科学调整数据比例，确
鉴权，即使用Access Key ID（AK）/Secret Access Key（SK）加密的方法来验证某个请求发送者身份。 父主题： 安全
科学计算大模型-海洋模型 支持创建推理作业并查询推理作业详情。 海洋模型 Agent开发-应用 创建好Agent应用后，可以调用该API，传入问题，执行Agent应用，得到Agent执行的结果。 应用 Agent开发-工作流 创建好工作流后，可以调用该API，传入问题，执行工作流，得到工作流执行的结果。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
