特惠算力专区-Web应用:舆情获取业务

时间:2023-11-01 16:13:34

舆情获取业务

  • 场景概述

    舆情获取业务是通过信息采集技术,对互联网信息进行快速有效的检索,以获取目标信息,主要应用于搜索引擎、新闻舆情获取、数据挖掘等。

  • 客户瓶颈

    互联网具有海量页面信息,要对互联网中杂乱无章的信息进行处理,需要经过无数次的下载,分析,过滤、存储等过程,需要花费大量的时间,因此如何高效调用资源计算和分配任务才能提高处理效率至关重要。

  • 竞享实例的应用

    为了高效采集页面数据,通常会多台服务器同时运作,并通过信息服务器统一管理,信息服务器会负责对全局URL队列进行分发,URL被发送至空闲云服务器上进行采集。服务器越多采集效率越高,可临时增加多台云服务器(竞享实例)以提高采集效率,同时,若任务量下降也可以减少竞享实例的使用,以节省成本。

support.huaweicloud.com/productdesc-ceci/ceci_01_0005.html