from internet
这次主要介绍下nutch2.1和mysql和elasticsearch的整合,是在单机上运行,并不是分布式部署。
1、下载nutch2.1
nutch下载地址:http://labs.mop.com/apache-mirror/nutch/2.1/apache-nutch-2.1-src.tar.gz
下载完成后解压,
2、配置nutch使用mysql作为数据存储,修改nutch根目录/ivy/ivy.xml文件
将这行的注释取消<dependency org=”mysql” name=”mysql-connector-java” rev=”5.1.18″ conf=”*->default”/>
修改nutch根目录/conf/gora.properties文件,把默认存储配置改成如下
# MySQL properties # ############################### gora.sqlstore.jdbc.driver=com.mysql.jdbc.Driver gora.sqlstore.jdbc.url=jdbc:mysql://host:3306/nutch? useUnicode=true&characterEncoding=utf8&autoReconnect=true&zeroDateTimeBehavior=convertToNull gora.sqlstore.jdbc.user=user gora.sqlstore.jdbc.password=password |
3、修改conf的nutch-site.xml
<? xml version = "1.0" ?> <? xml-stylesheet type = "text/xsl" href = "configuration.xsl" ?> < configuration > < property > < name >http.agent.name</ name > < value >My Spider</ value > </ property > < property > < name >http.accept.language</ name > < value >ja-jp,zh-cn,en-us,en-gb,en;q=0.7,*;q=0.3</ value > </ property > < property > < name >parser.character.encoding.default</ name > < value >utf-8</ value > < description >The character encoding to fall back to when no other information is available</ description > </ property > < property > < name >storage.data.store.class</ name > < value >org.apache.gora.sql.store.SqlStore</ value > </ property > < property > < name >plugin.includes</ name > < value >protocol-http|urlfilter-regex|parse-(html|tika)|index-(basic|anchor)|urlnormalizer-(pass|regex|basic)|scoring-opic</ value > </ property > </ configuration > |
4、使用ant编译源码。
nutch根目录下输入ant
5、设置待抓取的网站
cd nutch根目录/runtime/local
创建urls目录
mkdir -p urls
创建初始爬取网站列表
echo 'http://www.web.com/' > urls/seed.txt
6、创建数据库和表
CREATE DATABASE nutch DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; CREATE TABLE `webpage` (`id` varchar (767) CHARACTER SET latin1 NOT NULL , `headers` blob, `text` mediumtext DEFAULT NULL , `status` int (11) DEFAULT NULL , `markers` blob, `parseStatus` blob, `modifiedTime` bigint (20) DEFAULT NULL , `score` float DEFAULT NULL , `typ` varchar (32) CHARACTER SET latin1 DEFAULT NULL , `baseUrl` varchar (512) CHARACTER SET latin1 DEFAULT NULL , `content` mediumblob, `title` varchar (2048) DEFAULT NULL , `reprUrl` varchar (512) CHARACTER SET latin1 DEFAULT NULL , `fetchInterval` int (11) DEFAULT NULL , `prevFetchTime` bigint (20) DEFAULT NULL , `inlinks` mediumblob, `prevSignature` blob, `outlinks` mediumblob, `fetchTime` bigint (20) DEFAULT NULL , `retriesSinceFetch` int (11) DEFAULT NULL , `protocolStatus` blob, `signature` blob, `metadata` blob, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; |
7、执行爬行操作:
bin /nutch crawl urls -depth 3 |
执行完在mysql中即可以查看到爬虫抓取的内容
8、执行索引操作:
bin /nutch elasticindex clustername -all |
注意:nutch2.1是通过创建一个es节点加入集群的方式与es集群交互的,所以只需知道es集群的集群名字就可以。并且必须在同一局域网内,不过这样的话对于关闭了广播通信的es集群并不适用。
执行完后就可以通过http://eshost:9200/index/_status来看到建立的索引信息
附elasticsearch 网页索引mapping(使用ik分词):
{ "mappings": { "properties":{ "anchor":{ "index":"not_analyzed", "type":"string" }, "boost":{ "type":"string" }, "content":{ "analyzer":"ik", "boost":2.0, "type":"string" }, "digest":{ "type":"string" }, "host":{ "type":"string" }, "id":{ "type":"string" }, "site":{ "type":"string" }, "title":{ "analyzer":"ik", "boost":4.0, "type":"string" }, "tstamp":{ "type":"date", "format":"dateOptionalTime" }, "url":{ "type":"string" } } } } |
相关推荐
基于Nutch+ElasticSearch+MySQL+SSM的简易搜索引擎
Windows下cygwin+MyEclipse 8.5+Nutch1.2+Tomcat 6.0 Windows下cygwin+MyEclipse 8.5+Nutch1.2+Tomcat 6.0 Windows下cygwin+MyEclipse 8.5+Nutch1.2+Tomcat 6.0
nutch2.1导入Eclipse过程中,import org.restlet.×;错误,缺少的包。
nutch最新2.1资源打包,配置nutch最新svn后更新打包的全资源
此外,MySQL支持多种操作系统,包括Windows、Linux、macOS、Solaris等,确保了其在不同环境下的兼容性和部署灵活性。 关系型模型与SQL支持 MySQL基于关系型数据库模型,数据以表格形式组织,并通过预定义的键(如...
nutch2.1导入Eclipse过程中,import org.restlet.×;错误,缺少的包。
nutch2.3+hbase0.94.14+hadoop1.2.1安装文档.txt )
Nutch+solr + hadoop相关框架搭建教程
<项目介绍> 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分达到96分,放心下载使用! 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!...
基于STM32、ESP8266、PHP、QT、应用软件开发、系统软件开发、移动应用开发、网站开发C++、Java、python、web、C#、单片机、EDA、proteus、RTOS、包括计算机硬件、服务器、网络设备、存储设备、移动设备、LInux、IOS...
nutch2.2.1安装步骤,需要自己下载以下软件: apache-ant-1.10.5-bin.tar.gz apache-nutch-2.2.1-src.tar.gz apache-tomcat-8.5.39.tar.gz jdk-8u201-linux-x64.tar.gz solr-4.10.3.zip
nutch爬虫,java也能做爬虫,不一定非得用python呦
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 本资源官网上下的源代码。 nutch-2.1 适用于windows系统
apache-nutch-2.1,一个非常棒的搜索引擎!希望大家喜欢
Linux 下 Nutch 单机配置
Lucene+Nutch本书源码+详细说明,研究搜索引擎具体抓取与解析等技术问题,有利于搜索引擎开发新手的熟悉与了解,难得的电子版,值得珍藏
nutch+lucene开发自己的搜索引擎 第三章开源搜索引擎入门
这是本人在完全分布式环境下在Cent-OS中配置Nutch-1.1时的总结文档,但该文档适合所有Linux系统和目前各版本的nutch。 目 录 介绍 ............................................................... 2 0 集群...
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己 的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。
Linux下Nutch分布式配置和使用.pdf Lucene+Nutch源码.rar Lucene学习笔记.doc nutch_tutorial.pdf nutch二次开发总结.txt nutch入门.pdf nutch入门学习.pdf Nutch全文搜索学习笔记.doc Yahoo的Hadoop教程.doc [硕士...