华为云用户手册

  • 消息路由 目前支持如下几种消息转发路径: SystemREST到Service Bus:通过调用云端的REST Gateway接口,获取边缘节点上的文件服务。需配合边缘市场中的边缘文件服务应用一起使用。 SystemREST到SystemEventBus:通过调用云端的REST Gateway接口,向边缘节点中的SystemEventBus(MQTT broker)发送消息。 SystemEventBus到DIS/APIG服务:您可以将终端设备数据发送到边缘节点SystemEventBus(MQTT broker)的自定义Topic中,IEF会将这些数据转发到DIS通道或APIG后端地址。数据转发到DIS通道或者APIG后端地址后,您可以提取这些数据,并对数据进行处理分析。这条路径需要在创建消息路由时自定义MQTT Topic,自定义Topic的详细说明请参见自定义Topic。
  • 消息端点 IEF提供如下默认消息端点: SystemEventBus:边缘节点上的MQTT,代表节点通信,可以作为源端点向云上发数据,也可以作为目的端点,接收云上消息。端点资源为边缘节点MQTT Topic。 SystemREST:云端的REST网关接口,可以作为源端点,向边缘侧发送REST请求。端点资源为REST请求的路径。 您还可以创建如下消息端点: Service Bus:边缘节点上的事务请求处理端点,可以作为目的端点,处理文件上传请求。端点资源为REST请求的路径。 DIS: 数据接入服务 ,可以作为目的端点,接收由IEF转发的数据。端点资源为在DIS服务中创建的DIS通道。 APIG:API网关服务,可以作为目的端点,接收由IEF转发的数据。端点资源为在API网关服务中创建的API地址。
  • 约束与限制 边缘节点磁盘占用超过70%时,会启动镜像回收机制回收容器镜像占用的磁盘空间,此时部署容器应用会导致容器启动变慢,请在部署容器应用前规划好边缘节点磁盘空间。 创建容器应用时,边缘节点会从 容器镜像服务 拉取镜像,如果镜像超大且边缘节点下载带宽较小,容器镜像没有拉取完成,从而导致控制台上容器应用显示创建失败。虽然应用创建失败,但容器镜像拉取不会中断,等容器镜像拉取成功后,容器应用的状态会刷新为创建成功。此情况下也可以先将容器镜像拉取到边缘节点,然后再创建容器应用。 容器镜像的架构必须与节点架构一致,比如节点为x86,那容器镜像的架构也必须是x86。 铂金版可将应用实例数量修改为零。
  • 约束与限制 边缘节点磁盘占用超过70%时,会启动镜像回收机制回收容器镜像占用的磁盘空间,此时部署容器应用会导致容器启动变慢,请在部署容器应用前规划好边缘节点磁盘空间。 创建容器应用时,边缘节点会从容器 镜像服务 拉取镜像,如果镜像超大且边缘节点下载带宽较小,容器镜像没有拉取完成,从而导致控制台上容器应用显示创建失败。虽然应用创建失败,但容器镜像拉取不会中断,等容器镜像拉取成功后,容器应用的状态会刷新为创建成功。此情况下也可以先将容器镜像拉取到边缘节点,然后再创建容器应用。 容器镜像的架构必须与节点架构一致,比如节点为x86,那容器镜像的架构也必须是x86。
  • 配置项的使用 您可以在创建容器应用高级配置中选择数据存储时使用ConfigMap。 图2 使用ConfigMap ConfigMap挂载到容器后,会根据ConfigMap的内容在挂载目录下创建文件,每条配置数据(属性名-属性值)为一个文件,其中属性名即文件的名称,属性值为文件的内容。例如ConfigMap的属性名为“key”,属性值为“value”,这条ConfigMap挂载到/tmp0目录下,那么挂载成功后,在/tmp0目录下就存在一个名为“key”的文件,其内容为“value”。
  • 配置项的使用 您可以在创建容器应用高级配置中选择数据存储时使用ConfigMap。 图2 使用ConfigMap ConfigMap挂载到容器后,会根据ConfigMap的内容在挂载目录下创建文件,每条配置数据(属性名-属性值)为一个文件,其中属性名即文件的名称,属性值为文件的内容。例如ConfigMap的属性名为“key”,属性值为“value”,这条ConfigMap挂载到/tmp0目录下,那么挂载成功后,在/tmp0目录下就存在一个名为“key”的文件,其内容为“value”。
  • 边缘节点概述 边缘节点是您自己的边缘计算机器,用于运行边缘应用,处理您的数据,并安全、便捷地和云端应用进行协同。您可以通过智能边缘平台部署系统应用来延伸云服务能力到边缘节点,或者通过部署您自己的应用来构建您自己的边缘计算能力。 为了使智能边缘平台能够管理您的边缘节点,您需要做如下步骤: 准备边缘节点,边缘节点需要满足一定的规格要求,具体请参见配置边缘节点环境。 在IEF中创建边缘节点,获取边缘节点的安装工具和配置文件,具体请参见注册自建边缘节点。 使用上一步获取的安装工具和配置文件纳管边缘节点,具体请参见纳管边缘节点。 图1 使用流程 父主题: 节点管理
  • 边缘节点概述 边缘节点是您自己的边缘计算机器,用于运行边缘应用,处理您的数据,并安全、便捷地和云端应用进行协同。您可以通过智能边缘平台部署系统应用来延伸云服务能力到边缘节点,或者通过部署您自己的应用来构建您自己的边缘计算能力。 为了使智能边缘平台能够管理您的边缘节点,您需要做如下步骤: 准备边缘节点,边缘节点需要满足一定的规格要求,具体请参见配置边缘节点环境。 在IEF中创建边缘节点,获取边缘节点的安装工具和配置文件,具体请参见注册边缘节点。 使用上一步获取的安装工具和配置文件纳管边缘节点,具体请参见纳管边缘节点。 图1 使用流程 父主题: 节点管理
  • 使用IEF构建边缘计算 使用IEF构建边缘计算的步骤如图1所示。 纳管边缘节点,绑定终端设备。 使用IEF构建边缘计算首先需要将边缘节点纳入IEF的管理(通过在边缘节点安装边缘节点软件),并将终端设备绑定到边缘节点,做完这些后您就可以通过IEF往边缘节点部署应用。 纳管边缘节点、绑定终端设备的详细内容将在节点管理和终端设备管理中介绍。 开发应用并制作镜像,上传到容器镜像服务(SWR)。 这个步骤是针对实际业务场景开发应用,开发完成后制作成容器镜像,并上传到SWR上,这样后面IEF下发应用后,边缘节点就可以从SWR中拉取应用镜像。 虽然这里将开发应用放在了步骤 1之后,但这两个步骤之间并没有明确的先后顺序,您也可以先开发应用,然后再纳管边缘节点、绑定终端设备。 部署应用。 边缘节点纳管、应用开发完后,就可以通过IEF将应用部署到边缘节点,运行您的实际业务。 应用运行后,就能通过 AOM 对应用进行监控和告警,提供运维便利性。 部署应用的详细内容将在容器应用管理中详细介绍。 (可选)回传数据到云上做进一步处理,根据处理结果更新应用。 这个步骤与IEF的使用本身没有强相关,但是这是一个常见的根据数据改进应用的方法,您可以根据自身需求选择是否操作。 图1 构建边缘计算
  • 安全可靠 IAM 认证 通过创建IAM角色,允许从边缘节点访问AOM、SWR、DIS等资源。 边缘节点安全 Edge Agent创建专属服务用户,能够访问的目录和拥有的权限都受限,向云端上传日志、监控信息由用户自行选择。 云边协同通讯安全 Edge Agent与IEF建立双向加密通道,Edge Agent自下向上发起,双向消息收发通过证书认证、加密。 云安全 前置DDoS网络安全防护,防恶意攻击。 为每个边缘节点颁布唯一接入证书,双向通讯通过证书认证、加密。 设备安全 终端设备使用证书进行身份认证。 图4 IEF安全性方案
  • IEF权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 IEF部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京四)对应的项目(cn-north-4)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问IEF时,需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。具有Tenant Administrator系统角色的用户可以操作IEF所有资源。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。多数细粒度策略以API接口为粒度进行权限拆分。 如表1所示,包括了IEF的所有系统权限。 表1 IEF系统权限 系统角色/策略名称 描述 类别 依赖关系 IEF FullAccess IEF管理员权限,拥有该权限的用户可以操作并使用IEF的基本资源。注意:如需操作IEF所有资源,请配置Tenant Administrator系统角色。 系统策略 无 IEF ReadOnlyAccess IEF只读权限,拥有该权限的用户仅能查看IEF资源。 系统策略 无 表2列出了IEF常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 IEF FullAccess IEF ReadOnlyAccess Tenant Administrator 创建/删除/修改服务实例 √ x √ 查看服务实例 √ √ √ 切换实例 √ √ √ 创建/删除/修改边缘节点 √ x √ 查看边缘节点 √ √ √ 创建/删除/修改边缘节点组 √ x √ 查看边缘节点组 √ √ √ 创建/删除/修改边缘容器应用 √ x √ 查看边缘容器应用 √ √ √ 创建/删除/修改设备 √ x √ 查看设备 √ √ √ 创建/删除/修改应用部署 √ x √ 查看应用部署 √ √ √ 创建/删除/修改应用模板 √ x √ 查看应用模板 √ √ √ 创建/删除/修改节点注册作业 √ x √ 查看节点注册作业 √ √ √ 创建/删除/修改消息端点 √ x √ 查看消息端点 √ √ √ 创建/删除/修改消息路由 √ x √ 查看消息路由 √ √ √ 创建/删除/修改批量作业 √ x √ 查看批量作业 √ √ √ 创建/删除/修改配置项 √ x √ 查看配置项 √ √ √ 创建/删除/修改密钥 √ x √ 查看密钥 √ √ √ 创建/删除/修改加密数据 √ x √ 查看加密数据 √ √ √ 创建/删除/修改系统订阅 √ x √ 查看系统订阅 √ √ √ 创建/删除/修改插件 √ x √ 查看插件 √ √ √
  • 操作步骤 使用注册的用户名、密码登录Edge控制台,在左侧导航树选择“连接迁移中心”,进入连接迁移中心页面。 在第一步:输入云凭证区域,输入华为云账号的AK/SK,单击“查询项目”按钮。系统会对输入的AK/SK进行验证,验证通过后,即可进行下一步。如果提示AK/SK错误,请参考AK/SK验证失败,如何处理?进行排查处理。 如果是进行 主机迁移 ,输入的AK/SK需要具备 SMS 服务的相关权限。需要的权限和配置方法请参考SMS自定义策略。 您可以选择是否将输入的AK/SK保存为目的端凭证(推荐您选择“是”)。 选择“否”,与迁移中心连接成功后,输入的AK/SK会被删除。 选择“是”,与迁移中心连接成功后,输入的AK/SK会加密保存在本地,在后续进行迁移时,可以做为目的端凭证发送给源端迁移Agent。 在第二步:关联迁移中心项目区域的项目下拉列表中,选择MgC控制台所创建的迁移项目,Edge会将采集数据上报到该项目。 在第三步:预设当前Edge名称区域,自定义Edge在MgC控制台显示的名称,单击“下一步”按钮,确认要与迁移中心进行连接,单击“确认”按钮。 与迁移中心连接成功后,设置的Edge名称不支持修改。 连接成功后,会进入Edge凭证管理界面,您可以进行如下操作: 打开迁移中心,进入MgC控制台,查看Edge设备连接状态以及管理Edge设备。 添加/修改迁移目的端凭证。 添加源端云平台/主机凭证。
  • 修订记录 发布日期 修订记录 2024-08-23 新增事件记录 2024-07-11 新增Windows服务器WinRM服务配置与故障排查 2024-03-21 新增Edge安装端口被占用,导致无法安装,如何处理? 新增AK/SK验证失败,如何处理? 2024-01-15 更新添加资源凭证 2023-12-20 新增工具采集 新增采集失败,提示:The collector is not installed如何处理? 新增采集器参数配置说明 新增如何卸载Edge? 2023-11-30 第一次发布
  • 修订记录 发布日期 修订记录 2024-08-20 新增配置主机迁移方案 2024-07-23 更新导入RVTools资源 2024-07-10 新增手动添加数据库。 2024-07-09 新增资源类型和安全组配置说明。 2024-07-03 新增迁移风险评估。 2024-06-18 新增IAM用户权限。 2024-06-07 主机迁移迁移工作流中新增使用须知。 2024-06-03 支持导入的阿里云资源类型新增:对象存储OSS桶、云数据库 RDS MySQ L实例 和云数据库 Redis实例。 2024-05-08 在公网发现与采集中,新增数据库深度采集(袁林昌)。 新增工作流配额限制说明 2024-4-17 新增迁移方案配置 新增创建对象存储批量迁移工作流 2024-03-21 新增委托权限说明。 新增导入阿里云资源清单。 2024-03-11 公网采集源端新增Azure。 2024-02-20 新增迁移集群。 2024-01-31 新增采集主机性能。 规格评估新增基于性能推荐主机规格。 2023-12-30 新增购买资源。 2023-10-30 第一次发布。
  • 体验问答 在“体验平台”页面右上角单击“问答”,切换至问答体验页面。 在输入框中输入问题,单击,查看返回的答案。 图1 体验问答 表2 图标说明 图标 说明 认同内容,在对话框中输入正面反馈意见,单击“提交”。 不认同内容,在对话框中输入负面反馈意见,单击“提交”。 复制内容。 刷新内容。 查看答案参考源。在参考列表中,单击“阅读全文”,可查看文档原文。 说明: 当前针对上传的多栏排版docx文档,查看文档原文时存在内容显示错位及显示不全的问题。
  • 新建知识库 在 KooSearch 控制台,左侧导航栏选择“知识库管理”。 进入知识库管理页面。 在知识库管理页面,单击右上角“新建知识库”。 在“新建知识库”页面设置知识库信息。 在创建知识库页签填写“知识库名称”、选择“知识库语言”,填写知识库“描述”,单击“下一步”。 图1 创建知识库 在“解析拆分设置”页签配置解析设置和拆分设置,然后单击“下一步”。 解析设置:勾选需要解析的能力。 表1 解析设置 参数 说明 OCR增强 勾选后,即可调用OCR服务进行智能文档识别,如表格解析或扫描文件等。 解析图片 未勾选,在文档中遇到图片默认跳过,不处理图片。 勾选后,有两种解析方式可供选择: 提取图片文本:识别图片内文字。 仅保留原图:将图片提取后上传OBS桶,便于问答图文展示。 解析页眉页脚 未勾选,解析结果中不包含页眉页脚。 勾选后,解析结果中包含页眉页脚。 解析目录页 未勾选,解析结果中不包含目录页。 勾选后,解析结果中包含目录页。 拆分设置:即分段设置,选择分段方式。 表2 拆分设置 参数 说明 自动分段 系统根据文档特点自动选择合适的分段方式。 长度分段 默认按照段落进行拆分合并,如果段落过长则通过标识符进行分段。 分段标识符:分段方式为遇到所选符号即截断,符号之间没有优先级,最终分割后合并到预计最大长度。自定义分段中如果未命中分段标识符,分段将会失败。 分段预计长度:分段的最大长度,文档的正文如果超过设定的[最大长度],则截取[最大长度]的片段为新文档,随后回溯[分段重叠]字符,继续向后检查,直到文档结束。 层级分段 先按照文章的标题层级分段,再按照段落进行拆分合并,如果段落过长则通过标识符进行分段。 层级解析模式:可选择自动解析和规则解析。选择规则解析需要自定义层级规。 层级分段详情如表3所示。 表3 层级分段 参数 说明 层级解析模式 自动解析:按照系统规则自动解析。 规则解析: 由于不同文档的层次结构多样且不一致,针对不同的文档可自定义其文档层次解析规则,更好地解析切分文档从而提升基于文档知识问答的准确率。 自定义默认规则 将最常见的规则,作为默认规则可选,详情请参见提供的默认规则示例。 自定义解析规则 当前解析规则采用正则语言编写,可参见如表5示例。 标题层级深度 选择文章的标题层级深度。 标题保存方式 可选择“保存多标题组合”和“保存最后一级标题”。 分段标识符 分段方式为遇到所选符号即截断,符号之间没有优先级,最终分割后合并到预计最大长度。自定义分段中如果未命中分段标识符,分段将会失败。 分段预计长度 分段的最大长度,文档的正文如果超过设定的[最大长度],则截取[最大长度]的片段为新文档,随后回溯[分段重叠]字符,继续向后检查,直到文档结束。 跨标题合并 打开“跨标题合并”开关:不同标题段落文字较少时,会自动合并到指定的分段长度,有助于生成更全面的结果。关闭“跨标题合并”开关:不会自动合并不同标题。 说明: “层级分段”页签中有此按钮,可以自己设置开关。“自动分段”和“长度分段”页签中没有此按钮,跨标题合并使用的是系统默认参数,等于true。 表4 规则解析默认规则示例 类别 规则 描述 第一章 第一节 第一条 ^第([零〇一二三四五六七八九十百千万1-9]{1,7})章 ^第([零〇一二三四五六七八九十百千万1-9]{1,7})节 ^第([零〇一二三四五六七八九十百千万1-9]{1,7})条 以章的规则为例: 中括号内大写的阿拉伯可以匹配,例如:第一章。 支持1-9的阿拉伯数字匹配,例如: 第1章。 最大支持中间位数出现的位数有7位。例如:第一千一百三十七章。 节和条的规则类似。 表5 自定义规则解析示例 类别 规则 描述 第一章 第一节 第一条 ^第([零〇一二三四五六七八九十百千万1-9]{1,7})章 ^第([零〇一二三四五六七八九十百千万1-9]{1,7})节 ^第([零〇一二三四五六七八九十百千万1-9]{1,7})条 / 1 1.1 1.1.1 ^(\d+\.)(?=\s) ^(\d+)(\.\d+)(?!\.)(?=\s) ^(\d+)(\.\d+)(\.\d+)(?!\.)(?=\s) 可以匹配数字开头的段落。 备注: [\u4e00-\u9fa5]+ 限制中文) 例如: 1. 简介 1.1 说明 1.1.1 详细说明 一、 (一) 1、 1) ^([零〇一二三四五六七八九十百千万]+)[、] ^(([零〇一二三四五六七八九十百千万]+)) ^[\d+]、 ^[\d+]) / 图2 自定义规则解析示例 在“模型设置”页签配置好模型后,单击“下一步”。 搜索模型设置 选择Embedding模型服务、精排模型服务、搜索规划模型服务。 Embedding模型服务:基于盘古大模型技术的文本表示模型,将文本转化为用数值表示的向量形式,用于文本检索、聚类、推荐等场景。 精排模型服务:基于盘古大模型技术的文本表示模型,将文本转化为用数值表示的向量形式,用于文本检索、聚类、推荐等场景,语义搜索场景下,加入了精排模型,提升搜索的效果。 搜索规划模型服务:搜索规划模型服务提供了意图分类、多轮查询改写、复杂查询分解、时间抽取等功能,在搜索增强生成任务中,通过意图分类的结果将路由到后续不同的流程;通过改写查询词及查询分解以提高搜索的准确率。 NLP模型设置 选择NLP模型服务。基于盘古大模型的人工智能语言模型,可进行对话互动、回答问题、协助创作。 扩展长上下文: 如果打开了此参数,模型在解析过程中会扩展长上下文以生成更全面结果。 有效输入长度(K):如果打开“扩展长上下文”按钮,则需要设置有效输入长度,输入令牌的有效长度以保证最佳输出。 进入高级设置页面,设置好后,单击“确定”。 引用定位:针对回答结果定位到原文位置。 图文结合:展示原文引用关联图片。 知识库缓存:如果打开知识库缓存按钮,您的搜索效率会相对高效。使用知识库缓存需要选择以下几个参数。 缓存生成模型服务:选择一个模型服务。 缓存阈值:达到缓存阈值,就会使用缓存输入值必须在0.1到1之间。 缓存策略:达到缓存阈值,如果有多个答案,可以设置最高分或者随机。 过期策略配置:缓存过期的方式,有3中选择。 Least Recently Used:根据当前时间与最后一次访问时间的差值超过存活时间时删除。 First In First Out:根据当前时间与创建时间的差值超过存活时间时删除。 Least Frequency Used:小于缓存命中阈值且当前时间与创建时间大于存活时间时清除,大于阈值时保留 存活时间(秒):可以自己设置缓存的存活时间,或者直接设置成永久。 知识库创建好后,可以在知识库管理页面查看到新创建的知识库基本信息,包括知识库ID、知识库名称、知识库状态等信息。
  • 版本管理 您创建成功知识库的时候,系统会自动创建一个知识库初始版本,对版本的一些管理操作如下所示: 进入KooSearch控制台。 左侧导航栏选择“知识库管理”,进入“知识库管理”页面。 单击“版本管理”页签。 您创建好知识库后,系统会默认创建一个初始版本,如下图所示。 如果您需要再创建一个版本,单击操作列的“重建”按钮,依次选好参数,即可创建成功。 图3 重建版本 版本名称:版本的名称。 重建来源:选择“索引”或者“文档”。 索引:按照索引重建版本,会直接复用已经完成的向量数据库索引。 文档:按照文档重建版本。选择文档的话,要设置好解析规则是继承原有的规则还是使用最新的规则。 是否立即激活:选择是否立即激活。 描述:对于重建版本的描述。 重建好版本后,可以对版本进行以下操作。 图4 版本操作 状态为“使用中”的版本可进行如下操作: “重建”:按照步骤4重新建一个版本。 “更新”:可以单击此按钮更新版本描述。 状态为“可用”的版本除了“重建”、“更新”还可以进行如下操作: “关闭”:当版本不用时,可以关闭版本释放索引资源。 “删除”:当不再需要此版本时,可以删除版本。 “激活”:可用状态的版本可以激活,激活后此版本的状态变为“使用中”,之前“使用中”的版本状态变为“可用”。 被关闭的版本可进行如下操作: “启用”:被关闭版本如果想再次使用,可以单击此按钮启用,启用后版本状态会变成“可用”。 “删除”:当不再需要此版本时,可以删除版本。 “更新”:可以单击此按钮更新版本描述。
  • 调用已发布的KooSearch API 在业务环境中调用已发布的KooSearch API。 构造API请求,KooSearch API的请求说明请参见《API参考》。 为API请求添加认证信息。 表2 认证方式 认证方式 API请求参数配置 APP认证 表示由API网关服务负责接口请求的安全认证。推荐使用APP认证方式。关于使用APP认证的方法,具体请参考《开发指南》。 当选择“APP认证”时,需要配置“APP凭据”。 “APP凭据”:使用APP认证的API,需要在API网关中创建一个凭据,以生成凭据ID和密钥对(Key、Secret)。将创建的凭据绑定API后,才可以使用APP认证调用API。客户端(API调用者)在调用API过程中,把密钥对替换SDK中的密钥对,API网关服务根据密钥对进行身份核对,完成鉴权。具体创建凭据的步骤,请参考创建凭据 。 华为IAM认证 表示借助IAM服务进行安全认证。 说明: 选择“华为IAM认证”时,任何API网关租户均可以访问此API,可能存在恶意刷流量,导致过量计费的风险。
  • 场景描述 KooSearch服务开通成功后,会自动创建KooSearch API。在KooSearch服务详情页的API管理页签,可以看到 知识管理 和文档解析两类API。 知识管理:该类API主要用于知识库管理,例如上传文档、刷新文档等。 文档解析:该类API主要用于对文档数据进行处理,例如切分文档内容。 将KooSearch API发布到不同环境后,支持在环境中调用API使用KooSearch服务。操作流程如下: 在APIG服务配置API网关:配置API网关。 在 CSS 服务发布KooSearch API:发布KooSearch API。 在业务环境中调用已发布的KooSearch API:调用已发布的KooSearch API。 当已发布的KooSearch API需要修改安全认证方式时,可以编辑API。 当已发布的KooSearch API不希望被调用时,可以下线API。
  • 上传结构化数据 提前在本地准备好待上传的结构化数据文件。 支持UTF-8编码的JSON文件格式,单个文件最大2M。模板如下所示: [ { "cmd": "ADD", "id": "100001", "content": "content for the first data" }, { "cmd": "ADD", "id": "100002", "title": "title for the second data", "content": "content for the second data", "url": "https://abc.abc.com", "docTime":"2015/01/01 12:10:30", "category":"category1", "tags":["tag1","tag2","tag3"] }, { "cmd": "UPDATE", "id": "100002", "content":"The content for the second data is updated", "category":"newCategory" }, { "cmd": "DELETE", "id": "100002" } ] 在KooSearch控制台,左侧导航栏选择“知识库管理”,进入“知识库管理”页面。 在知识库管理页面,选择已创建的知识库,单击操作列的“文档管理”,进入“文档管理”页面。 单击“结构化数据”,切换至“结构化数据”页签。 单击“上传”,在上传对话框中单击“选择文档”,本地选择已提前准备好的结构化数据文件。 单击“确认”。 文件上传后,可在结构化数据页签查看已上传的文件,当“导入状态”为“正常”,说明文件已上传成功。
  • 批量导入FAQ 提前在本地准备好待导入的FAQ文件。 主要支持xlsx,xls,docx,doc文件类型格式,文件内容请参考Excel样例文件或Word样例文件。Excel单个文件最大为10MB,单个文件最大支持10000条数据,文件中不允许空行,空行后的数据将被忽略。Word单个文件最大为128M,Word中支持图文格式的FAQ。 在KooSearch控制台,左侧导航栏选择“知识库管理”,进入“知识库管理”页面。 在知识库管理页面,选择已创建的知识库,单击操作列的“文档管理”。 进入“文档管理”页面。 单击“FAQ批量导入”,切换至“FAQ批量导入”页签。 单击“上传”,在上传对话框中单击“选择文档”,本地选择已提前准备好的FAQ文件。 图5 FAQ批量导入 在对话框中单击“确认”。 文件上传后,可在“FAQ批量导入”页签查看已上传的文件,当“导入状态”为“正常”,说明文件已导入成功。 管理FAQ文件。 单击操作列的“下载”,可下载文件至本地。 单击操作列的“删除”,可删除已上传的文件。
  • 创建FAQ 在KooSearch控制台,左侧导航栏选择“知识库管理”,进入“知识库管理”页面。 在知识库管理页面,选择已创建的知识库,单击操作列的“文档管理”。 进入“文档管理”页面。 单击“FAQ管理”,切换至“FAQ管理”页签。 单击“创建”,在“新建问答”对话框中输入“标准问题”和“答案”,单击“添加相似问题”,可输入多个相似问题。 在对话框中单击“确认”。 FAQ创建后,可在FAQ管理页签查看已创建的问答。 管理FAQ。 单击操作列的“编辑”,可重新编辑FAQ的“标准问题”和“答案”。 单击操作列的“删除”,可删除已创建的FAQ。
  • 上传文档 提前在本地准备好待上传的文档。 支持格式为 .doc, .docx, .pdf, .pptx, .ppt, .xlsx, .xls, .csv, .wps, .png, .jpg, .jpeg, .bmp, .gif, .tiff, .tif, .webp, .pcx, .ico, .psd, .dps, .et, .txt, .ofd 的多个文档,单个文档不能超过128MB(超过60MB建议通过API上传),当前版本中图片上传、文档内单张图片上传最大不超过10MB。 在KooSearch控制台,左侧导航栏选择“知识库管理”,进入“知识库管理”页面。 在知识库管理页面,选择已创建的知识库,单击操作列的“文档管理”,进入“文档管理”页面。 图1 进入文档管理页面 默认进入“文档管理”页签,单击“上传”。 在上传对话框中单击“选择文档”,本地选择已提前准备好的文档。重复的文档不允许上传。 图2 上传文档 单击“确认”。文档上传后,可在文档管理页签查看已上传的文档,当“文档状态”为“正常”,说明文档已上传成功。 文档上传成功后,可以单击文档名称,查看切片效果。 图3 单击文档名称 图4 切片效果 管理文档数据。 单击操作列的“下载”,可下载文档至本地。 单击操作列的“删除”,可删除已上传的文档。 单击操作列的“QA生成”,可将上传的文档生成问答模式的Excel文档,生成任务在“任务管理”页签可以查看。 单击操作列的“重试”,可对已上传的文档重新进行切片。
  • 场景描述 KooSearch知识库支持上传以下几种类型的知识。 表1 上传数据 上传方式 描述 上传文档 支持上传文档类型的知识,支持格式为 .doc, .docx, .pdf, .pptx, .ppt, .xlsx, .xls, .csv, .wps, .png, .jpg, .jpeg, .bmp, .gif, .tiff, .tif, .webp, .pcx, .ico, .psd, .dps, .et, .txt, .ofd 的多个文档,单个文档不能超过128MB(超过60MB建议通过API上传)。当前版本中图片上传、文档内单张图片上传最大不超过10MB。 创建FAQ 支持创建问答形式的知识。 批量导入FAQ 支持批量导入问答形式的知识,主要支持xlsx,xls,docx,doc文件类型格式。 上传结构化数据 支持上传结构化知识。支持UTF-8编码的JSON文件格式,单个文件最大2M。
  • Flexus 企业搜索 服务使用流程 华为云企业搜索KooSearch是基于华为云的 云搜索服务 搭建的一站式智能搜索解决方案,帮助企业聚焦业务场景和应用开发,场景服务化、技术简单化、低门槛化,满足开发者基于业务场景的二次开发。在RAG(Retrieval-Augmented Generation)及搜索场景提供效果和性能突出的组件化服务,架构理想、灵活编排的机制,帮助企业客户快速构建RAG以及搜索服务。 仅“西南-贵阳一”区域支持开通和使用KooSearch服务。 KooSearch服务使用流程,如下图所示: 图1 koosearch使用流程 表1 使用流程 步骤 操作 说明 1 开通服务 首先需要开通服务,开通服务时会选择版本规格、配置一系列参数来创建一个实例,后续可以用此实例实现搜索问答,具体请看开通Flexus企业搜索服务。 2 在控制台使用KooSearch服务实现搜索文档 开通服务后,您可以在KooSearch控制台实现搜索问答,具体操作如下: 当KooSearch服务管理员需要自定义模型服务时,可以创建和管理KooSearch模型服务(可选),否则跳过该步骤。 创建KooSearch知识库。 将本地文件上传至KooSearch知识库。 使用KooSearch服务进行问答和搜索。 体验KooSearch问答。 体验KooSearch搜索。 管理知识库。 使用KooSearch的API实现搜索文档 您也可以使用调用API的方式实现搜索问答,KooSearch服务提供的API支持发布到不同的环境,发布成功后支持被调用,具体操作如下: 配置API网关。 发布KooSearch API。 调用已发布的KooSearch API。 编辑API。 下线API。 3 管理KooSearch服务 在服务的基本信息页面,可以获取服务的内网访问文档解析地址、内网访问知识管理地址、计费模式等信息。除此之外,还能进行管理服务、API管理和日志管理。具体请看管理KooSearch知识库。 4 查看KooSearch服务日志 为了方便用户使用日志定位问题,KooSearch服务提供了日志查询功能。用户可以通过日志查询进行问题分析定位。具体请看Flexus企业搜索服务日志管理。
  • 步骤3:配置网络 登录NAT网关管理控制台。 在公网NAT网关列表页面,单击“购买公网NAT网关”,进入购买公网NAT网关页面。 在购买公网NAT网关页面,配置NAT网关。 关键参数请参见表2配置,其他参数可以保持默认值或基于业务场景参考购买公网NAT网关完成配置。 表2 购买公网NAT网关 参数 说明 计费模型 因为KooSearch是离线服务,建议选择“按需计费”。 区域 和KooSearch保持一个区域,选择“西南-贵阳一”。 虚拟私有云 和KooSearch选择同一个VPC。 子网 和KooSearch选择同一个子网。 单击“立即购买”,确认产品规格无误后,单击“提交”,开始创建公网NAT网关。当状态为“运行中”时,表示公网NAT网关创建成功。 当公网NAT网关创建成功后,在公网NAT网关列表页面,单击操作列的“设置规则”,在弹窗中单击“添加规则”进入网关详情页的“SNAT规则”页面。 在“SNAT规则”页面,单击“添加SNAT规则”,在弹窗中配置公网NAT网关的SNAT规则。 表3 添加SNAT规则 参数 说明 使用场景 选择“虚拟私有云”。 网段 选择“使用已有”,选择和KooSearch同一个VPC。 公网IP类型 选择“弹性公网IP”,勾选满足要求的IP。 如果没有可选的弹性公网IP,可以单击“查看弹性公网IP”跳转到弹性公网IP列表页,申请弹性公网IP。 建议弹性公网IP的“计费模式”为“按需计费”,“公网带宽”为“按流量计费”,“带宽大小”为“20”Mbit/s。 单击“确定”完成SNAT规则的添加。
  • 步骤1:在MaaS部署模型服务 在MaaS服务中完成模型服务的部署,并获取模型服务的信息用于KooSearch对接MaaS时使用。 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio大模型即服务平台选择合适的模型,创建为“我的模型”。操作指导请参见在MaaS中创建模型。 将创建好的模型部署为模型服务,具体操作请参见使用MaaS部署模型服务。 选择使用AppCode认证方式调用部署好的模型服务,具体操作请参见调用MaaS部署的模型服务。 获取并记录模型服务的“调用模型名称”、“API接口公网地址”和“AppCode”,当KooSearch对接MaaS时会使用到这些参数。
  • 应用场景 Flexus企业搜索服务(后续简称为KooSearch),Koosearch结合OCR服务文档识别能力,通过NET网关打通网络,使Koosearch支持智能文档解析能力,对PDF/Word等格式的文档内容进行版式分析,智能识别文档中的各种版式类型,如表格、图片、公式、标题等,以及识别单栏、双栏版面结构及段落顺序,对用户上传的文档进行智能解析。本文介绍Flexus企业搜索服务如何配置OCR增强实现文档智能解析功能。
  • 步骤1:开通OCR 开通OCR服务的智能文档解析功能。 登录 文字识别 OCR管理控制台。 在“总览”页面的使用说明模块选择“智能文档解析”。 单击操作列的“开通管理”,弹出开通管理页面,确认是否已经为操作者开通了智能文档解析功能。 是,则进行下一步。 否,则单击操作列的“开通服务”为操作者开通智能文档解析功能。 如图1所示,表示所有人都已开通智能文档解析功能。 图1 开通智能文档解析 详细操作指导请参见文字识别OCR。
  • 步骤3:配置网络 登录NAT网关管理控制台。 在公网NAT网关列表页面,单击“购买公网NAT网关”,进入购买公网NAT网关页面。 在购买公网NAT网关页面,配置NAT网关。 关键参数请参见表2配置,其他参数可以保持默认值或基于业务场景参考购买公网NAT网关完成配置。 表2 购买公网NAT网关 参数 说明 计费模型 因为KooSearch是离线服务,建议选择“按需计费”。 区域 和KooSearch保持一个区域,选择“西南-贵阳一”。 虚拟私有云 和KooSearch选择同一个VPC。 子网 和KooSearch选择同一个子网。 单击“立即购买”,确认产品规格无误后,单击“提交”,开始创建公网NAT网关。当状态为“运行中”时,表示公网NAT网关创建成功。 当公网NAT网关创建成功后,在公网NAT网关列表页面,单击操作列的“设置规则”,在弹窗中单击“添加规则”进入网关详情页的“SNAT规则”页面。 在“SNAT规则”页面,单击“添加SNAT规则”,在弹窗中配置公网NAT网关的SNAT规则。 表3 添加SNAT规则 参数 说明 使用场景 选择“虚拟私有云”。 网段 选择“使用已有”,选择和KooSearch同一个VPC。 公网IP类型 选择“弹性公网IP”,勾选满足要求的IP。 如果没有可选的弹性公网IP,可以单击“查看弹性公网IP”跳转到弹性公网IP列表页,申请弹性公网IP。 建议弹性公网IP的“计费模式”为“按需计费”,“公网带宽”为“按流量计费”,“带宽大小”为“20”Mbit/s。 单击“确定”完成SNAT规则的添加。
共100000条