检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当部署一个实例时，占用1个推理单元。 单击“立即创建”，下发模型部署任务。 使用外推扩展模型上下文处理长度 在部署模型、部署后修改模型规格时，可以通过外推功能调整模型的输入输出长度。修改部署时扩缩容和外推场景互斥，每次只能修改一个。 当前仅盘古-NLP-N4系列模型以及基于它们训练的模型支持外推。 图1 模型部署外推升级
边缘服务部署流程 边缘部署是指将模型部署到用户的边缘设备上。这些设备通常是用户自行采购的服务器，通过ModelArts服务纳管为边缘资源池。然后利用盘古大模型服务将算法部署到这些边缘资源池中。 图1 边缘资源池创建步骤 当前仅支持预置模型（盘古-NLP-N2-基础功能模型）和基于
--pkg-path=/home/hilens/pkgs 基于边缘部署准备工作与注册边缘资源池节点，按照以下目录结构存放下载文件，注意修改下载文件的命名。其中，docker下的certs证书会自动生成，一般无需修改。 pkgs // 包目录，用户自行命名 docker docker.tgz
host信息。 用户认证信息。 云数据库RDS： https://support.huaweicloud.com/rds/index.html - Mysql 否 host信息。 用户认证信息。 Mysql官网： https://www.mysql.com/ - iam认证与SDK配置项的映射关系如下：
install gptcache~=0.1.37 pip install redis-om~=0.1.3 pip install pymysql~=1.1.0 pip install SQLAlchemy~=2.0.19 API手册 API手册请参见SDK API 手册。 父主题：
数据格式：多轮问答场景需要按照指定的数据格式来构造，问题需要拼接上历史所有轮对话的问题和回答。比如，当前是第三轮对话，数据中的问题字段需要包含第一轮的问题、第一轮的回答、第二轮的问题、第二轮的回答以及第三轮的问题，答案字段则为第三轮的回答。以下给出了几条多轮问答的数据样例供您参考： 原始对话示例： A：你是谁？ B：您好，我是盘古大模型。
os os.environ["SDK_CONFIG_PATH"] = "./llm.properties" 完整配置项如下： 配置项中的密码等字段建议在配置文件或者环境变量中密文存放，使用时解密，确保安全，详见配置文件敏感信息加密配置。 ################################
of("inMemory") # Redis redis_cache = Caches.of("redis") # mysql sql_cache = Caches.of("sql") 更新数据：指向缓存中添加或修改数据，需要指定数据的键值对和结果对象。例如，把1+1这个问题和用户cache会话下对应的答案2保存到缓存中，参考示例如下：
sampling，其中模型考虑具有top_p概率质量的标记的结果。通常建议更改此值或温度，但不要同时更改两者。通常建议更改top_p或temperature来调整生成文本的倾向性，但不要同时更改这两个参数。 取值范围：(0, 1] 缺省值：N1模型为0.7、N2模型为1，N4模型为0.85 max_tokens 否 Integer
properties后缀 ConfigLoadUtil.setBaseName("application"); 完整配置项如下： 配置项中的密码等字段建议在配置文件或者环境变量中密文存放，使用时解密，确保安全，详见配置文件敏感信息加密配置。 ################################
Cache cache = Caches.of(Caches.REDIS); // mysql Cache cache = Caches.of(Caches.SQL); 更新数据：指向缓存中添加或修改数据，需要指定数据的键值对和结果对象。例如，把1+1这个问题和对应的答案2保存到缓存中，可参考以下示例。
解决： 问题一：JSON字段缺失、JSON字段或值错误。 解决方案：对于这几种情况，需要在微调数据中增大该缺失字段的数据比例，同时也可以在Prompt中加入对该字段的强调。 问题二：JSON格式错误、JSON内容发散。 解决方案：对于这种情况，可以尝试修改推理参数。例如降低“温度
sampling，其中模型考虑具有top_p概率质量的标记的结果。通常建议更改此值或温度，但不要同时更改两者。通常建议更改top_p或temperature来调整生成文本的倾向性，但不要同时更改这两个参数。 取值范围：(0, 1] 缺省值：N1模型为0.7、N2模型为1，N4模型为0.85 max_tokens 否 Integer
在接口的URI部分，您可以看到其请求方法为“POST”，则其请求为： POST https://{endpoint}/v1/{project_id}/deployments/{deployment_id}/text/completions 请求消息头 附加请求头字段，如指定的URI和HTTP方法所要求的字段。例如
ALLOW_LEADING_DECIMAL_POINT_FOR_NUMBERS 这个字段是jackson-core里面用来标识解析json格式数据是否支持前导小数点的字段，这个报错的意思是找不到这个字段，很可能是因为用户使用的jackson版本太老导致。 建议客户本地将jackson版本升级到和华为云java
据的输出（target字段）需要符合业务场景需求。因此，针对该问题，需要严格控制数据质量。若输入（context字段）要求文案300字以内，则输出必须要满足300字以内。 问题二：模型生成的文案中重复讨论一个相同的话题。 解决方案：对于这种情况，可以尝试修改推理参数。例如，降低“
"description": "会议开始时间，格式为yyyy-MM-dd HH:mm" }, "end": { "type": "string", "description": "会议结束时间，格式为yyyy-MM-dd HH:mm"
布操作。 数据量建议3-1000条。当前数据集数据保存与上传的文件类型有以下两种，大小均不可超过1024MB。 文件类型为JSONL：每一行表示一段文本，形式为{"context":"context内容","target":"target内容"}，每一段需要准确完整的语义，符合主
更多的事情，因为该请求被设置为拒绝访问，建议直接修改该请求，不要重试该请求。 404 Not Fou 所请求的资源不存在。 建议直接修改该请求，不要重试该请求。 405 Method Not Allowed 请求中带有该资源不支持的方法。 建议直接修改该请求，不要重试该请求。 406
符合预期，可以调整。 required。是否为可选参数。 注意：字段的命名需要以小写字母开头，否则在转换成标准的Json schema时会出现问题，导致模型精度受到影响。 上例中的InputParam为一个复杂的入参，如果工具的入参为基本类型，则不需要再额外定一个结构体，例如： import
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
