当前位置:首页 > 行业知识 > 科技

什么是网络爬虫(什么是爬虫技术)

关注:66 发布时间:2022-03-29 09:05:02

1.爬虫技术,即web crawler(也称web spider、web robot,foaf社区中更常称之为web chaser),是根据一定的规则自动抓取万维网上信息的程序或脚本。其他不常用的名字有ant、自动索引、模拟器或worm。

2.根据系统结构和实现技术,webcrawler大致可以分为以下几种:general universal web crawler、focusedwebcrawler、incrementalwebcrawler和deepwebcrawler。实际的网络爬虫系统通常是通过结合几种爬虫技术来实现的。

什么是爬虫技术

猜你喜欢

  • 什么是网络爬虫(什么是爬虫技术)

    什么是网络爬虫(什么是爬虫技术)66人支持

    1.爬虫技术,即web crawler(也称web spider、web robot,foaf社区中更常称之为web chaser),是根据一定的规则自动抓取万维网上信息的程序或脚本。其他不常用的名字有ant、自动索引、模拟器或worm。2.根据系统结构和实现技术,webcrawler大致可以分为以…

  • 什么是网络爬虫(网络爬虫是什么意思)

    什么是网络爬虫(网络爬虫是什么意思)38人支持

    1.网络爬虫(在foaf社区中也称为web spider、web robot,更常被称为web chaser)是一种根据一定规则在万维网上自动抓取信息的程序或脚本。其他不常用的名字有ant、自动索引、模拟器或worm。2.随着网络的飞速发展,万维网已经成为大量信息的载体。如何…