检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署边缘模型 进入盘古大模型套件平台,进入“模型开发 > 模型部署 > 边缘部署”,单击右上角“部署”按钮。 在创建部署页面选择模型与部署资产,选择部署方式为边缘部署,输入推理实例数(根据边缘资源池的实际资源选择),输入服务名称,单击“立即创建”。
图1 查看评估状态 单击评估名称,进入评估任务详情页,可以查看详细的评估进度。例如,在图2中有10条评估用例,当前已经评估了8条,剩余2条待评估。 图2 查看评估进展 评估完成后,进入“评估报告”页面,可以查看每条数据的评估结果。
在左侧导航栏中选择“数据工程 > 数据清洗”,进入“清洗模板”页面,在该页面查看预置的数据清洗模板。 图1 获取数据清洗模板 父主题: 清洗数据集(可选)
在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务操作栏中的“撰写”。 图1 撰写提示词 在撰写提示词区域单击“设为候选”按钮,将当前撰写的提示词设置为候选提示词。
单击界面右上角“创建评估任务”,进入评估任务创建页面。 图1 模型评估列表页面 填写评估任务所需的评估配置、评估数据和基本信息。 图2 创建评估任务 评估配置: 待评估模型:支持选择多个模型版本同时评估,最多选择5个。待评估模型必须符合前提条件。
注册边缘资源池节点 进入ModelArts服务,选择所需空间。 在左侧列表中单击“边缘资源池”,在“节点”页签中,单击“创建”。 在“创建边缘节点”页面中,填写节点名称,配置AI加速卡与日志信息,单击“确定”。
图4 输入评估名称 单击右下角“确定”按钮,评估任务自动进入执行状态。 父主题: 批量评估提示词效果
图2 保存提示词到模板库 进入“应用开发 > 提示词管理 > 我的提示词”页面,查看发布的提示词。 图3 我的提示词 父主题: 提示词工程
登录盘古大模型套件平台,在左侧导航栏中选择“应用百宝箱”,进入“应用百宝箱”页面。 在“应用市场”页签中,选择场景应用,立即体验应用能力。 图1 应用市场页面 图2 体验应用 在“外部应用”页签中,选择外部应用,单击“继续前往”,页面将跳转至外部应用页面供用户体验。
在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 在工程任务列表页面,找到所需要操作的工程任务,单击该工程任务名称,跳转工程任务下候选提示词页面。 图1 提示词工程 选中两个候选提示词,单击左上角“横向比较”按钮,跳转提示词比较页面。
登录盘古大模型套件平台,在左侧导航栏中选择“应用百宝箱”,进入“应用百宝箱”页面。 在“应用市场”页签中,选择场景应用,立即体验应用能力。 图1 应用市场页面 图2 体验应用 在“外部应用”页签中,选择外部应用,单击“继续前往”,页面将跳转至外部应用页面供用户体验。
体验预置模型文本补全能力 进入“文本补全”页签,选择模型与示例,参数设置为默认参数,在输入框输入问题,单击“生成”,模型将基于问题进行回答。
在左侧导航栏中选择“应用开发 > 提示词工程”,进入提示词工程页面。 单击页面右上角“创建工程”,进入工程任务创建弹窗。输入工程名称、描述,选择行业、标签,工程任务下的所有提示词会同步继承该标签。 图1 创建提示词工程 单击“确定”完成工程创建。 父主题: 撰写提示词
体验预置模型文本补全能力 进入“文本补全”页签,选择模型与示例,参数设置为默认参数,在输入框输入问题,单击“生成”,模型将基于问题进行回答。
进入华为云官网,参考账号注册指导及界面提示信息,完成账号注册。 注册成功后即可自动登录华为云,您需要完成“实名认证”才可以正常使用服务。具体认证方式请参见实名认证。 获取账号信息 在调用服务API、SDK时,需要将账号相关的信息作为API凭证传入代码。
查看训练任务详情与训练指标 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。
单击数据集名称,进入数据集详情页,查看详细的数据质量。 其中,数据长度按照token长度划分为2K以下、2K-4K、4K-8K等多个区间,用户可以参考模型训练所需数据量与数据格式要求,调整训练数据。
当提示词使用“请生成10个跟“手机银行怎么转账”相似的问题”时,模型会认为实体/关键词/场景一致则是相似(在这个例子里实体为手机银行),而不是任务需要的语义级别的相同含义,所以输出内容会发散。 父主题: 进阶技巧
设置完成后单击“立即创建”进入知识库详情页,上传文档。在详情页会同步展示与AI助手的绑定关系。 图2 上传数据至知识库 当选择“引用知识库”时,需要设置名称、英文名称与描述信息,并选择需要引用的KooSearch知识库。
配置完成后,执行如下命令重启固件: systemctl restart hdad 进入ModelArts服务,选择所需空间。进入“边缘资源池 > 节点”,在当前设备节点操作列单击“激活”,节点状态将从“未激活”转为“已激活”。 进入“边缘资源池 > 资源池”,单击“创建”。