资料准备:setup.exe 这个是在windows上模拟liunx用的一个终端,下载地址:http://www.cygwin.com/(安装后注意设置环境变量CYGWIN_HOME,然后把它的bin加到path目录)
nutch 1.4 下载地址:http://www.apache.org/dyn/closer.cgi/lucene/nutch/
ant 1.8 下载地址:http://ant.apache.org/
下载好nutch 后,将它存在E:/根目录下,其它目录也可以的,然后执行setup.exe安装cygwin,具体安装流程,就不多说了,那个网上挺多的。
下来,cmd->到nutch的根目录,执行ant,对整个工程进行编译,大概需要20分钟时间,去喝杯茶,放松一下吧。
编译完以后,要开eclipse,新建java project,使用nutch作为工程内容,然后next-> add libary 选择add class folder选中conf文件,完成就OK。
你在网上会发现很多解答提到crawl-urlfilter.txt,而在1.4是没有这个文件的,不过多了regex-urlfilter.txt,在这个里面加入+^http://([a-z0-9]*\.)*163\.com 这个代表只抓取www.163.com的内容,然后在nutch-site.xml
<property>
<name>http.agent.name</name>
<value>haininghacker</value>
</property>
<property>
<name>http.agent.url</name>
<value>www.163.com</value>
</property>
加入下面这段,现在还差最后一步,打开Run configurations.. 打开arguments选择,在program arguments里面输入urls -dir crawl -depth 5 -threads 4 -topN 10 然后在VM arguments输入-Xms64m -Xmx512m OK了,来享受抓取网页的成就感吧,running......
遇到问题:
nutch eclipse 下跑出现 IOException: Cannot run program "chmod": CreateProcess error=2, ?t?问题 :
问题原因:没有安装cygwin 或 没有配置环境变量
解决办法:安装并配置环境变量 bin到 path下 重启 eclipse 问题解决
来源:http://hi.baidu.com/haininghacker/blog/item/dd91173c08e882d89f3d6285.html
分享到:
相关推荐
nutch1.4 在windows下的安装配置环境搭建
nutch 1.4 在windows下安装配置
nutch1.4帮助文档,学习nutch1.4必备,最新nutch1.4核心类解读!
Nutch1[1].4_windows下eclipse配置图文详解
Nutch是一个由Java实现的,刚刚诞生开放源代码(open-source)的web搜索引擎。Nutch目前最新的版本为version1.4。这个为nutch的最新版 1.4。
apache-nutch-1.4-bin.tar.gz.part2
Windows下使用Eclipse配置Nutch2图文详解
nutch和cygwin在Windows系统上的配置.pdf
apache-nutch-1.4-bin.part2
apache-nutch-1.4-bin.part1
详细介绍nutch在windows下myeclipse中的配置以及执行,本人空间还有nutch1.2包,nwgwin安装包等
本来有机会接个搜索引擎项目但最终因价格问题双方谈崩为此我感到深深遗憾失去了个极好实战机 会但我不想因此放弃对搜索引擎学习和实战在...Nutch还是先从安装和使用Nutch开始吧以下是我在xp sp2环境下安装Nutch过程记录
Apache Nutch 1.7 在windows和Linux下的安装,有详细的图示和步骤说明,测试过多次。
eclipse配置nutch,eclipse配置nutch
apache-nutch-1.4-bin.tar.gz.part1
Linux下Nutch分布式配置 使用:分布式爬虫、索引、Nutch搜索本地数据、Nutch搜索HDFS数据。
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫
本来有机会接个搜索引擎项目但最终因价格问题双方谈崩为此我感到深深遗憾失去了个极好实战机会但我不想因此放弃对搜索引擎学习和实战在网上听到很多人推荐Nutch所以我打算学习下Nutch要学习Nutch还是先从安装和使用...
windows下nutch的安装配置以及与tomcat的集成.doc
nutch 在windows下环境搭配 已经如何在eclipse下配置,有配图,很详细