企业建设门户网站成本如何,新品发布会流程方案,北京建设网官网资格证,找人做一个网站需要多少钱沙漠君在历时半年#xff0c;修改无数bug#xff0c;更新一票新功能后#xff0c;在今天隆重推出最新改进的超级爬虫Hawk 2.0! 啥#xff1f;你不知道Hawk干吗用的#xff1f; 这是采集数据的挖掘机#xff0c;网络猎杀的重狙#xff01;半年多以前#xff0c;沙漠君写… 沙漠君在历时半年修改无数bug更新一票新功能后在今天隆重推出最新改进的超级爬虫Hawk 2.0! 啥你不知道Hawk干吗用的 这是采集数据的挖掘机网络猎杀的重狙半年多以前沙漠君写了一篇小软文原文链接在此推出了Hawk 。 关注的人超级多有木有 Github上的小星星一下子增加到400超多妹子在沙漠君的粉丝应援团里疯狂崇拜然而这不是重点重点是Hawk真的好多”小”问题… 有朋友哭诉刚启动小鹰它就冒烟了还是烤肉味的好不容易把小虫虫做好碰了一下显示器结果小虫虫就扑街了 每次听到反馈我都超想好好地把小鹰改造一番。但是你们想不到沙漠君工作有多忙只有在洗手间的时候我才空在手纸上写代码 然而自己挖的坑哭着也要把它填完这不Hawk 2.0横空出世了 二鹰新增哪些特性呢 每当我在妹子们前炫耀Hawk的时候每点一次鼠标妹子们就一片赞叹对就这个效果。 裹脚布杀手全面支持动态页面 二鹰全面支持动态网页ajax和瀑布流。这是啥你在刷微博看杨臭脚的时候浏览器的地址显示你家幂幂的名字了吗 没有吧这就是动态网页地址是隐藏在网页之中的 怎么办你只要把随便一条微博的一个关键词输入到“搜索关键字”那里点“开始”自动嗅探。二鹰就会帮你抓到这个请求。不论再臭再长的裹脚布都不怕。 大家都很喜爱鹰1的“手气不错”功能但之前只能处理html而很难处理内嵌js和json 现在只要你勾选“超级模式”不论返回的是何种数据类型。直接点“手气不错”数据表格就完整出来了其他什么都不用干 啊啊啊太强大了理论上没有二鹰抓不到的网站除非你的关键字实在太蠢或者网站做得太高级… 反反爬虫增加代理 诶诶诶你又被网站封IP了谁让你这么不温柔没有关系在网页采集器里配置代理小虫虫就又能接着干活了。 我知道你肯定会问哪里找代理那沙漠君就不造了。出门淘宝想免费的话去翻一翻代理网站或者搜索“ADSL拨号” 。但是不要用Hawk来做任何非法的用途哦这段好多敏感词 (爬数据适可而止小心被查水表哦) 120项改进和优化 沙漠君本来在吃着火锅改着代码但惊讶于Hawk中居然藏了那么多的bug吓得我火锅里的毛肚都烫老了 不过话说回来只有这样你们才会想起我呀~ 于是在发布第一版后的三个月我断断续续修复了大概120个bug错误清单上面长长的一片: 在某些win7机器上运行不了啊开启嗅探再关闭软件突然上不了网了啦把爬虫转换拖进去没反应啦其实就是你没配置好…… 不好意思根本列不完列完你也看不完。 不过优化了这么多我还是保证了前向兼容之前大家设计的工程文件都能继续使用。反正不会随随便便就崩溃了。 其实Hawk的子流系统是个超酷的功能可惜我觉得100个人里有一个会用就不错了。这是个啥呢 简单说你可以搭积木先设计小虫虫再拼成大虫虫。甚至支持自己和自己拼起来(专业点叫尾递归。邪恶点叫69啊不要想歪 ) 借助子流和内置的Python脚本系统二鹰能达到图灵完备实现任意复杂的逻辑甚至能做刷票反正口说无凭你仔细去感受一下就是了。 沙漠君写了完整的文档 大家最多的反馈是XXX怎么用啊泥萌也知道对程序猿来说写文档就像和产品经理吵架一样痛苦。 我还是咬咬牙决定写完整的文档 程序员写文档一般都不是给地球人看的。但是沙漠君忍了。 恩6个完整的手把手的例子到每个模块的概要说明想要的基本都能找到。如果有任何问题直接在GitHub上留言提问沙漠君实在受不了一个问题重复回答一百遍啊一百遍 文档也许现在不全不过没关系我会慢慢补充的总得给我点时间啦。如果还有bug捏我保证一口老血吐在你的屏幕上 当然如果bug够高级你心爱的沙漠君可能会给你发红包哦。 在哪里获得~~ Hawk号称是数据界的小确幸它已经被全国政协妇联工商联各大企事业单位和个人广泛使用。 Hawk完全免费开源 目前所有的文档和发行版都在GitHub上能找到点击阅读原文即可下载包在Release栏目下。 之前的百度云CSDN下载都可能不再维护。如果你喜欢它最少是不是该成为沙漠之鹰微信公号的粉丝呀是不是该在GitHub上Star一下呀 如果还找不到 沙漠之鹰后台留言或留邮箱链接和安装包直接发给你 号外沙漠之鹰获得原创权限啦 最后我要说的是在大家的热心帮助下沙漠之鹰在2016年11月21号正式获得了原创评论功能果然吐槽是有用的总共才花了10天时间要不然才叫遥遥无期呢。感谢党和人民的信任各位票友对沙漠君的支持~ 我会继续努力写更好的文章欢迎大家用留言砸晕我的微信公号后台~ 沙漠之鹰个人公众号所有文章全部原创。任何形式的转载演绎必须经过公众号联系原作者获得授权保留一切权利。 内容转载自公众号 沙漠之鹰 了解更多
