• 垂直搜索技术


    垂直搜索引擎是针对某一个行业的专业搜索引擎,是搜索引擎的细分和延伸,是对网页库中的某类专门的信息进行一次整合,定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。垂直搜索是相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式,通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。其特点就是“专、精、深”,且具有行业色彩,相比较通用搜索引擎的海量信息无序化,垂直搜索引擎则显得更加专注、具体和深入。

    定义

    垂直搜索引擎是应用于某一个行业、专业的搜索引擎,是搜索引擎的延伸和应用细分化。垂直搜索引擎为用户提供的并不是上百甚至上千万相关网页,而是范围极为缩小、极具针对性的具体信息。因此,特定行业的用户更加青睐垂直搜索引擎,是垂直搜索引擎的长期、稳定的群体。

    前景

    搜索引擎的出现,整合了众多网站信息,恰恰起到了信息导航的作用。通用搜索引擎就如同互联网第一次出现的门户网站一样,大量的信息整合导航,极快的查询,将所有网站上的信息整理在一个平台上供网民使用,于是信息的价值第一次普遍的被众多商家认可,迅速成为互联网中最有价值的领域。互联网的低谷由此演变为第二次高峰。大家熟知的搜索引擎Google、百度、雅虎等是通用搜索引擎现如今的杰出代表,他们为互联网的发展做出了重要的贡献。然而,搜索引擎行业也不是一家公司就可以独撑天下的,从百度的上市、yahoo中国的并购一系列动作表明,如今的搜索引擎大战如同门户网站初期的竞争一样激烈。相信,通用搜索引擎在经历过一段时间的角逐后,也将会继续维持几大服务商各自分控一部分市场的局面。
    垂直搜索引擎概念的提出,就是针对性的为某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。可以简单的说成是搜索引擎领域的行业化分工。众多专业性网站、行业网站独立服务于互联网的成功,恰恰证明了互联网的格局应该是多方面的。通用搜索引擎的性质,决定了其不能满足特殊领域、特殊人群的精准化信息需求服务。市场需求多元化决定了搜索引擎的服务模式必将出现细分,针对不同行业提供更加精确的行业服务模式。可以说通用搜索引擎的发展为垂直搜索引擎的出现提供了良好的市场空间,势必将出现垂直搜索引擎在互联网中占据部分市场的趋势,也是搜索引擎行业细分化的必然趋势。

    异同点

    策略异

    垂直搜索不只是类google的行业通用搜索。以房产行业为例,如果我们按照google抓取网页的方式,来建造一个房产行业google的做法,是行不通的。技术壁垒不用解释,就算我们借助nutch,lucene等搜索技术来做,我们也无法提供差异化的服务,而没有差异化的产品在互联网赢家通吃的规则下是无法生存的,就是不要简单地模仿,而要想办法形成互补。

    技术同

    垂直搜索和google,baidu等通用搜索从定位,内容,用户,市场策略等都是不同的。所以垂直搜索不只是简单的行业google。用户使用google,baidu等通用搜索引擎的方式是通过关键字的方式实现的,是语义上的搜索,返回的结果倾向于知识成果,比如文章,论文,新闻等;垂直搜索也是提供关键字来进行搜索的,但被放到了一个行业知识的上下文中,返回的结果更倾向于信息,消息,条目等。对买房的人讲,他希望找的房子供求信息和文章,新闻等不同。这个特性是他们各自的的技术特点决定的。打个比方,如果google搜索引擎是一个正金字塔型,那么垂直搜索引擎就是个倒金字塔型,两者是互补的。

    3特点

    垂直搜索的特点:
    1、搜索是一个产业商业联盟的平台,一个集成产业链的上下游公司的搜索门户
    2、垂直搜索的表现方式和google,baidu的表现方式不同,结构化的搜索和非结构化搜索并用。
    3、从广告模式上 提供了除 google adsense 和百度竞价排名广告 之外的另一种可能。

    4来源

    内容

    1、门户网站自身的资源 。
    2、以开放接口方式让行业用户提供的资源。
    3、普通用户发布的资源 。
    4、抓取行业用户的资源。

    数据

    1、垂直搜索引擎抓取的数据来源于垂直搜索引擎关注的行业站点。
    2、垂直搜索引擎抓取的数据倾向于结构化数据和元数据。
    3、垂直搜索引擎的搜索行为是基于结构化数据和元数据的结构化搜索。

    5门槛

    进入垂直搜索的门槛在哪里?
    在互联网上说门槛,就是比资源。垂直搜索也是这样,能否提供全面权威的行业信息,能否拥有行业资源是垂直搜索引擎发展的门槛。换句话说,垂直门户是垂直搜索血统最近的父亲。作为房产行业的房产网就是一个垂直门户,在房产领域没有谁比我们更清楚什么是垂直搜索了。
    垂直搜索的难点不是技术,而是用户参与门户网站行为的创新和垂直门户网站对产业上下游信息资源的整合。

    6准则

    1、选择一个好的垂直搜索方向。俗话说男怕选错行,这一点对于搜索引擎来说也是一样的,除了选择的这个行业有垂直搜索的大量需求外,这个行业的数据属性最好不要和通用搜索的的抓取方向重叠。热门的垂直搜索行业有:购物,旅游,汽车,工作,房产,交友等行业。搜索引擎对动态url数据不敏感也是众所周知的,这些可以作为垂直搜索引擎的切入点。
    2、评价所选垂直搜索行业的网站、垂直搜索内容、行业构成等情况:我们都知道垂直搜索引擎并不提供内容来源,它的数据依赖爬虫搜集,并做了深度加工而来的。因此考虑垂直搜索引擎的所处的大环境和定位至关重要。
    3、深入分析垂直搜索引擎的索引数据特点:垂直搜索引擎的索引数据过于结构化,那么进入的门槛比较低,行业竞争会形成一窝蜂的局面;如果搜索数据特点是非结构化的,抓取,分析这样的数据很困难,进入壁垒太高,很可能出师未捷身先死。
    4、垂直搜索引擎的索引数据倾向于结构化数据和元数据,这个特点是区别于通用搜索引擎的,这是垂直搜索引擎的立足点。而垂直搜索引擎是根植于某一个行业,因此行业知识,行业专家这些也是通用搜索引擎不具备的。也就是说进入垂直搜索是有门槛的。
    5、垂直搜索引擎的搜索结果要覆盖整个行业,搜索相关性要高于通用搜索引擎,贴近用户搜索意图,搜索结果要及时。
    6、垂直搜索引擎的搜索数据由于带有结构化的天性,相对于通用搜索引擎全文索引而言,更显的少而精。因此,设计的时候要提供收集用户数据的接口,同时提供tag,积分等机制,使搜索结果更加“垂直”。
    7、垂直搜索引擎的目标是帮助用户解决问题,而不只是像通用搜索引擎一样发现信息:这一点是垂直搜索引擎的终极目标。在做垂直搜索引擎的时候你需要考虑:什么问题是这个行业内的特殊性问题,什么问题是一般性问题。keso多次提到google的目标是让用户尽快离开google,而垂直搜索引擎应该粘住用户。一般来说,使用垂直搜索引擎的用户都是和用户的利益需求密切相关的。所谓利益需求是我自己独创的,大意是和用户工作密切相关,生活中必不可少的需求,而求有持续性。比如:学生找论文,业主找装修信息等等这样的需求。因此粘住用户,让用户有反馈的途径是一个关键部分。
    8、垂直搜索引擎的社区化特征:这一条和第7条是相关的。俗话说物以类聚,人以群分,垂直搜索引擎定位于一个行业,服务于一群特定需求的人群,这个特点决定了垂直搜索的社区化行为。人们利用垂直搜索引擎解决问题,分享回馈。做网站都讲求社区化,所以垂直搜索引擎本质上还是:对垂直门户信息提供方式的一次简化性的整合。

    7特点

    快速

    1.中文直达。直达各大知名网站、论坛、联盟站点,数据实时更新,中文直达服务让用户搜索一步到位。
    2.关键词直达网站。商家可以提交自己的关键词,让客户输入关键词直达您的网站,增加无限商机。
    3.站内直达。直达网站内各频道、栏目,站内直达满足用户在网站的全方位服务。

    方便

    1.功能强大。提供强大的搜索功能, 多款引擎随时切换, 让用户操作变得更加轻松便捷。
    2.搜索发现。用户进入搜索首页,浏览器会提示用户发现了新的搜索引擎, 并可将其设为默认。
    3.内容全面。聚合常用搜索及垂直搜索, 聚合各大热门搜索引擎, 多项搜索多重性能。
    4.完美兼容。界面设计 符合标准, 在不同内核的浏览器上均可正常使用。
    5、安全第一。收录大量网上银行、证券、股票、咨询、新闻等网址, 不再担心进入钓鱼网站.所有直达关键词网站,均严格经过叮铃铃各项指标的检验,有力的排斥了虚假广告、假冒产品、不良信息的商家网站。

    共享

    结合网站,按您的需要生成不同样式、不同功能的搜索框代码, 轻松将搜索服务与网站结合。

    精准

    垂直搜索引擎一般都提供了比较精准或者细化的搜索服务,因此使用垂直搜索引擎有时候能取得更精准的搜索结果。附:垂直搜索引擎索引,发布国内外高质量的垂直搜索引擎。

    8框架

    抓取

    也就是蜘蛛程序,负责从信息源抓取数据,蜘蛛程序通常是基于预先构造的模板工作的,无模板的蜘蛛程序只能处理结构相对简单的信息,抓取系统涉及的关键技术点有爬行路径分析、增量抓取与全抓取、信息构造完整性、信息唯一性识别、多网页信息整合、自动标引(此功能也可以单独提出)等;

    索引

    把抓来的信息建立类似书目的数据文件,以便于实现高速检索。索引系统涉及的关键技术点有分词技术、预评分和后评分、增量索引与全索引、排序技术、热点词高速缓存、标准检索语句解析等;

    搜索

    就是提供搜索功能的网站,网站的具体表现形式大不相同,但是都提供全文搜索功能,除了搜索功能外,还提供与业务相关的其他功能,譬如按地域导航检索、会员注册、订阅等。很多人把GOOGLE、百度称之为站外搜索,而把其他基于数据库的搜索称之为站内搜索,其实所有的搜索引擎提供的都是站内搜索,数据都是预先存储在本地的。

    9案例

    垂直搜索

    这类搜索引擎很多,这里以物流全搜索为例。
    简介:拟建全球最大的中文物流信息搜索查询平台,为全球物流行业提供物流信息发布、搜索查询服务!物流全搜索是在《物流业调整和振兴规划》大趋势下,物流行业蓬勃发展的环境中成长起来的物流行业垂直搜索引擎。搜索平台以专业、全面、简易、自助为建站标准,以“垂直搜索+行业门户”相结合的建站理念,坚持以成效第一、服务第一的客户服务理念,为所有需要物流信息和提供物流的客户服务。
    物流全搜索始终致力于全球最大的中文物流信息搜索查询平台建设,树立全球中文物流搜索第一品牌,网站建立以来取得良好的社会效益,为广大物流企业、客户提供了极大的方便。提供全新的搜索体验,只需输入简单关键词或简单的选择就可在指定的分类中搜索到你需要的信息,使用极其方便,满足行业所有信息查询需求。
    简评:以行业为目标,专注于物流,专业性强;以简易物流搜索为核心,秉承当前百度等通用搜索引擎的大气和完整实用的平台构架,科技含量高;人性化搜索体验,友好性强。

    购物垂直

    购物搜索引擎可以理解为搜索引擎的一种细分,即在网上购物领域的专业搜索引擎。
    常规意义上基于网页搜索的搜索引擎在搜索结果中的内容是根据相关性排列的来源于其他网站的内容索引,与此类似,购物搜索引擎的检索结果也来自于被收录的网上购物网站,这样当用户检索某个商品时,所有销售该商品的网站上的产品记录都会被检索出来,用户可以根据产品价格、对网站的信任和偏好等因素进入所选择的网上购物网站购买产品。
    购物搜索引擎与一般的网页搜索引擎相比的主要区别在于,除了搜索产品、了解商品说明等基本信息之外,通常还可以进行商品价格比较、并且可以对产品和在线商店进行评级,这些评比结果指标对于用户购买决策有一定的影响,尤其对于知名度不是很高的网上零售商,通过购物搜索引擎,不仅增加了被用户发现的机会,如果在评比上有较好的排名,也有助于增加顾客的信任。以BizRate为例,用户不仅可以用多种方式进行检索,如产品名称、品牌名、网站名称等,用户还可以对产品进行评比,可以发表自己的意见,这些信息也可以被别的用户参考。因此当用户使用购物搜索引擎检索商品时,可以获得比较丰富的信息,对制定商品购买决策有较大的参考价值。这也从另一个角度说明,网上商店利用购物引擎进行推广可以增加被用户发现的机会,从而达到促销的目的,因而成为网上销售的一种常用促销手段。

    10区别

    垂直搜索引擎和普通的网页搜索引擎的最大区别是对网页信息进行了结构化信息抽取,也就是将网页的非结构化数据抽取成特定的结构化信息数据,好比网页搜索是以网页为最小单位,基于视觉的网页块分析是以网页块为最小单位,而垂直搜索是以结构化数据为最小单位。然后将这些数据存储到数据库,进行进一步的加工处理,如:去重、分类等,最后分词、索引再以搜索的方式满足用户的需求。整个过程中,数据由非结构化数据抽取成结构化数据,经过深度加工处理后以非结构化的方式和结构化的方式返回给用户。
  • 相关阅读:
    JMeter分布式压测-常见问题之( Cannot start. localhost.localdomain is a loopback address)
    Jmeter实现multipart/form-data类型请求
    【漫画算法最后章节】【算法运用】 —— Bitmap算法的巧用
    整数类型
    宁波多校(一) E题 ddd的逛街计划(Easy Version)
    宁波多校(一) D题 COLORS的字符串挑战(线段树+hash+二分)
    CF1361D Johnny and James(模拟)
    CF1363F Rotating Substrings(dp)
    CF1363E Tree Shuffling(贪心+树上乱搞)
    AcWing1185 单词游戏(欧拉路径)
  • 原文地址:https://www.cnblogs.com/milantgh/p/3608585.html
Copyright © 2020-2023  润新知