检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CPU架构：aarch64（登录设备，执行arch命令查看） 依赖包下载。 docker下载：https://download.docker.com/linux/static/stable 选择对应cpu架构下载，docker版本选在19.0.3+。 K3S下载：https://github.c
获取API请求地址。 在“服务管理”页面，单击所需API的“查看详情”按钮。 图1 服务管理 在“服务列表”中选择需要调用的模型，单击操作栏中的“调用路径”，复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古API过程中，Token起到了身份验证和权限管理的作用。
获取API请求地址。 在“服务管理”页面，单击所需API的“查看详情”按钮。 图1 服务管理 在“模型列表”中选择需要调用的模型，单击操作栏中的“调用路径”，复制对应模型的API请求地址。 图2 获取API请求地址 获取Token。 在调用盘古API过程中，Token起到了身份验证和权限管理的作用。
什么情况下需要微调 微调的目的是为了提升模型在某个特定任务或领域的表现。在大多数场景下，通过Prompt工程，通用模型也能给出比较满意的回答。但如果您的场景涉及以下几种情况，则建议采用微调的手段来解决： 目标任务依赖垂域背景知识：通用模型学习到的知识大部分都是来自互联网上的开源数
依据需要清洗的数据类型，选择对应的数据集和数据集版本，输出路径，设置名称、描述等信息为可选项。 输出路径默认为系统生成，您也可以自定义输出路径，当前支持覆盖和追加两种方式。 覆盖：清洗后数据覆盖和替换原有数据集内容。 追加：清洗后数据增加到原有数据集路径下。 任务信息填写完成后，单击“下一步”，搭建数据清洗流程。
配置SDK 基础配置项 SDK依赖的配置项主要通过加载llm.properties配置文件。 在项目路径下，创建llm.properties文件，并根据实际需要配置相应的值。 在环境变量中配置“SDK_CONF_PATH”指向该配置文件： # 建议在业务项目入口处配置 import
需要开通的服务。 图1 服务管理 在“概览 > 服务列表”中选择需要调用的模型，并单击操作列的“调用路径”。 图2 服务概览页面 在弹窗中可获取对应模型的API请求地址。其中，路径选中部分即为模型的部署ID（deployment_id）。 图3 获取API请求地址 父主题： 附录
SDK依赖的配置项主要通过读取llm.properties配置文件；如果配置文件名不为llm.properties，需要在项目中主动设置，方法如下： 在resources路径下，创建llm.properties文件，并根据实际需要配置相应的值。 如果需要自定义配置文件名，可以参考以下代码设置。 // 建议在业务项目入口处配置
dir=/var/docker/hilens 其中，server.ip是nfs存储节点内网ip，mount.dir是大模型默认挂载路径，source.dir是大模型下载路径。 配置完成后，执行如下命令重启固件： systemctl restart hdad 进入ModelArts服务，选择所需空间。进入“边缘资源池
报错原因：模型训练过程中，训练日志出现“no such file or directory”报错，表示当前数据集格式、数据命名、数据存储路径不满足训练要求。 解决方案：请参考数据格式要求校验数据集格式。 请检查数据集路径是否设置正确。 图2 no such file or directory报错 The dataset
登录环境A的盘古大模型套件平台，在“模型迁移”页面，选择“导出模型”，在导入证书的地方上传环境B下载的证书文件，并选择需要导出的模型和模型导出的obs路径。 图3 导出模型 单击“确定”，导出模型。 模型导出成功后，可以在obs中查看导出后的模型文件。下载该obs文件，上传到环境B对应的obs桶中。
可在服务列表中申请需要开通的服务。 图1 服务管理 图2 申请开通服务 在“概览 > 服务列表”中选择需要调用的模型，并单击操作列的“调用路径”，在弹窗中可获取对应模型的API请求地址。 图3 服务概览页面 图4 获取API请求地址 父主题： 使用前必读
</dependency> 本地导入 下载SDK包，将pangu-kits-app*.jar文件放在项目目录lib文件夹下（.jar文件放置路径也可以自定义）。 在项目pom.xml中参考以下方式添加依赖。 <dependency> <groupId>com.huaweicloud</groupId>
"你好，请介绍下西安。" ], "with_prompt": true } 响应示例 { "tokens": [ "你好", "，", "请", "介绍下", "西安"
default -- documents -- stuff.pt # 配置sdk配置项，指定prompt文件绝对路径，以 /home 路径为例 sdk.prompt.path=/home/prompts/default 父主题： Python SDK
在新建数据集页面，依据需要进行的训练任务，选择导入数据，填写基本信息。 导入数据 选择模型类型、训练类型、数据类型、导入格式以及数据来源。 表1 数据集路径说明 数据集训练类型 数据集所在OBS路径 自监督训练数据集 创建数据集时，需要指定数据文件所在的文件夹。 有监督微调数据集 创建数据集时，可以指定数据文件或者数据文件所在的文件夹。
相比直接输出答案，分步解决也容许大模型有更多的“思考时间”，用更多的计算资源解决该问题。 自洽性 同一问题使用大模型回答多次，生成多个推理路径及答案，选择一致性最高的结果作为最终答案。 父主题： 进阶技巧
提示用例管理”。 图3 提示用例管理 单击页面右上角“创建提示用例集”，进入创建弹窗。 单击存储位置最右侧的图标，选择数据集文件所对应的obs路径，然后输入数据集名称、描述，创建数据集。 创建数据集前，请先将数据上传至OBS。 图4 创建数据集 父主题： 批量评估提示词效果
传输请求的协议，当前所有API均采用HTTPS协议。 Endpoint 承载REST服务端点的服务器域名或IP。 resource-path 资源路径，即API访问路径。从具体API的URI模块获取。 query-string 查询参数，可选，查询参数前面需要带一个“？”，形式为“参数名=参数取值”。
初始化 根据相应解析接口定义DocSplit类，以使用华为Pangu DocSplit为例。 其中，filePath指的是需要解析的文档路径；mode为分割解析模式，具体定义如下： 0 - 返回文档的原始段落，不做其他处理。 1 - 根据标注的书签或目录分段，一般适合有层级标签的word文档。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
