检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
繁华的城市，人们穿着古代的服饰，用着他听不懂的语言交谈。他意识到自己真的穿越了。李晓在宋朝的生活充满了挑战。他必须学习如何使用新的语言，适应新的生活方式。他开始学习宋朝的礼仪，尝试理解这个时代的文化。在宋朝，李晓遇到了许多有趣的人。他遇到了一位名叫赵敏拿来的小女孩，她聪明伶俐，让
创建盘古图片类数据集标注任务 场景描述 此示例演示了如何快速创建图片Caption数据标注任务。您将学习如何设置任务参数、配置标注要求并进行标注。 准备工作 请提前准备数据并上传至OBS服务，上传步骤请详见通过控制台快速使用OBS。 操作流程 登录ModelArts Studio大模型开发平台，进入所需空间。
排查： 数据质量：请检查训练数据中是否存在包含异常字符的数据，可以通过规则进行清洗。 训练参数设置：若数据质量存在问题，且因训练参数设置的不合理而导致过拟合，该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。 推理
增大其中一个参数的值，可以提升模型回答的多样性。 数据质量：请检查训练数据中是否存在文本重复的异常数据，可以通过规则进行清洗。 训练参数设置：若数据质量存在问题，且因训练参数设置的不合理而导致过拟合，该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。
高服务效率：大模型智能客服可以7x24小时不间断服务，相较于人工客服，可以处理更多的客户咨询，且响应速度快；降低运营成本：企业可以通过智能客服处理大部分的常规问题，将人工客服释放出来处理更复杂、更个性化的客户需求；个性化服务：基于大模型的智能客服能够学习和适应用户的行为模式和偏好，提供更加个性化的服务。
是由于以下几个原因导致的，建议您依次排查： 训练参数设置：您可以通过绘制Loss曲线查询来确认模型的训练过程是否出现了问题，这种情况大概率是由于训练参数设置的不合理而导致了过拟合。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置，适当降低这些参数的值，降低过拟合的风险。
发布文本类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 文本类数据集支持发布的格式为： 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。 发布文本类数据集操作步骤如下：
发布图片类数据集 原始数据集和加工后的数据集不可以直接用于模型训练，需要独立创建一个“发布数据集”。 图片类数据集支持发布的格式为： 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 自定义格式：文本类数据集可以使用自定义脚本进行数据格式转换。 发布图片类数据集操作步骤如下：
注，包括文本、图片、视频等，可以针对不同的数据和业务场景提供定制化的标注方案，满足多样化的需求。 增强模型的准确性与鲁棒性：准确的标注数据能够帮助模型更好地学习数据的潜在模式和规律，进而提高模型的性能、准确性和鲁棒性。 节省时间与成本：AI预标注可以显著减少人工干预，提高标注的效
大模型微调训练类问题 无监督领域知识数据量无法支持增量预训练，如何进行模型学习 如何调整训练参数，使盘古大模型效果最优 如何判断盘古大模型训练状态是否正常 如何评估微调后的盘古大模型是否正常 如何调整推理参数，使盘古大模型效果最优 为什么微调后的盘古大模型总是重复相同的回答 为什么微调后的盘古大模型的回答中会出现乱码
该场景采用了下表中的微调参数进行微调，您可以在平台中参考如下参数进行训练： 表1 微调核心参数设置 训练参数 设置值 数据批量大小（batch_size） 8 训练轮数（epoch） 6 学习率（learning_rate） 7.5e-05 学习率衰减比率（learning_rate_decay_ratio）
训练和推理过程中，通过数据脱敏、隐私计算等技术手段识别并保护敏感数据，有效防止隐私泄露，保障个人隐私数据安全。 内容安全：通过预训练和强化学习价值观提示（prompt），构建正向的意识形态。通过内容审核模块过滤违法及违背社会道德的有害信息。 模型安全：通过模型动态混淆技术，使模型
本场景采用了下表中的微调参数进行微调，您可以在平台中参考如下参数进行训练： 表2 微调核心参数设置 训练参数 设置值 数据批量大小（batch_size） 8 训练轮数（epoch） 4 学习率（learning_rate） 7.5e-05 学习率衰减比率（learning_rate_decay_ratio）
全球中期天气要素预测：通过该模型可以对未来一段时间的天气进行预测。 全球中期降水预测：通过该模型可以对未来一段时间的降水情况进行预测。 模型服务 支持选择用于启动推理作业的模型。 中期天气要素模型包括1h分辨率、3h分辨率、6h分辨率、24小时分辨率模型，即以起报时刻开始，分别可以逐1h、3h、6h、24h往后进行天气要素的预测。
训练、优化、部署与调用等流程。pipeline编排流程可以基于python代码实现，也可以人工模拟每一步的执行情况。检索模块可以使用Elastic Search来搭建，也可以利用外部web搜索引擎。在初步验证大模型效果时，可以假设检索出的文档完全相关，将其与query及特定pro
据集生成初步的标签，用户可以在此基础上进行人工审核和修正，从而大幅度减少人工标注的工作量和时间成本。此外，AI预标注不仅提高了标注效率，还能减少人为错误，提高标注的一致性和准确性。标注质量的提高直接增强了训练数据的有效性，确保训练模型时能获得更高质量的学习数据，从而推动模型性能的提升。
常见问题 使用java sdk出现第三方库冲突 当出现第三方库冲突的时，如Jackson，okhttp3版本冲突等。可以引入如下bundle包(3.0.40-rc版本后)，该包包含所有支持的服务和重定向了SDK依赖的第三方软件，避免和业务自身依赖的库产生冲突： <dependency>
user。 如果需要模型以某个人设形象回答问题，可以将role参数设置为system。不使用人设时，可设置为user。在一次会话请求中，人设只需要设置一次。 content表示对话的内容，可以是任意文本。 messages参数可以帮助模型根据对话的上下文生成合适的回复。 数组长度：1
根据授权项策略，系统会自动推荐授权范围方案。 可以选择“所有资源”，即用户组内的IAM用户可以基于设置的授权项限使用账号中所有的企业项目、区域项目、全局服务资源。 可以选择“指定区域项目资源”，如指定“西南-贵阳一”区域，即用户组内的IAM用户仅可使用该区域项目中的资源。 可以选择“全局服务资源”，即
导出盘古大模型至其他局点 导出盘古大模型至其他局点前，请确保当前空间为该用户所创建的空间。 模型训练发布完成后，可以通过导出模型功能将本局点训练的模型导出，导出后的模型可以通过导入盘古大模型至其他局点，导入至其他局点进行使用。 以从环境A迁移模型到环境B为例： 登录环境B的ModelArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
