WebMagic是java上面经常的需要的一款爬虫类型的工具了,现在就可以试试最新的0.7.3版本,功能以及使用上面都是完全的免费的,欢迎大家试试!
(1)由于我这个爬虫的抓取有分页,而且它的分页通过js跳转的,抽取出来感觉有点麻烦,我想直接得到所有的信息,发现可以通过输入url地址请求得到所有的信息(这是网站的一个小问题,它没有设置每页数据记录条数的范围),但是需要登录才可以进行url地址的访问,就要使用cookie模拟登录。
(2)下面分析有关登录信息的cookie,我使用的是chrome,点击如图位置,会看到此网站的cookie,(如果已经访问了一段时间了,可以清除所有cookie然后重新登录再访问,否则可能会有很多的cookie,分析起来不方便),由于只有5个cookie,直接加上就可以访问了
WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic,你可以快速开发出一个高效、易维护的爬虫。webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。
本次更新增加了Downloader模块的一些功能。
#609修复HttpRequestBody没有默认构造函数导致无法反序列化的bug。
#631HttpRequestBody的静态构造函数不再抛出UnsupportedEncodingException受检异常。
#571Page对象增加bytes属性,用于获取二进制数据。下载纯二进制页面时,请设置request.setBinarayContent(true),这样对于二进制内容不会尝试转换为String,减小开销。
#629在HttpUriRequestConverter中会自动对一些导致URI异常的字符进行转移或过滤。
#610自动识别编码时,可以识别Content-Type中charset为大写的情况。
#627支持为Request单独设置页面编码,兼容同一站点多种编码方式的情况。
#613Page对象增加charset属性,其值为request/site中设置的charset,或者为自动检测的charset(未定义时)。
#606升级jsonpath到2.4.0
#608升级jsoup到1.10.3
展开内容
10.0/116.7M
一款课程表软件,用户可以通过这款软件来记录学校的课程安排,非常的方便,再也不用担心会忘记课程了,感兴趣的小伙伴们快来下载吧。我是课程表app介绍功能很多,真的用...
8.0/1,472.8M
好心大夫依托高精尖的智能硬件终端设备,采集人体的各种有效数据,利用互联网、云计算以及多媒体技术,为用户提供慢病健康监测、用药管理、建立动态健康档案、远程在线医疗...
8.1/1,001.4M
创维创享APP在光伏电站建设方面,通过提供实时数据监测、远程控制与管理等功能,有助于提高光伏电站的建设效率、运营可靠性和能源利用率。创维创享APP使得光伏电站建...
8.8/692.6M
小汉堡discuz论坛自动顶贴机(论坛全自动顶贴机)是一款功能全面的好软件,用于discuz论坛自动顶贴,非常实用,是一款不可多得的好软件,完全模仿手工回贴,所...
9.8/1,074.7M
卡尔跑(CalRun)是wakuala最新打造的一款休闲的手游,非常具有挑战性,玩法有点像保护气球,要使用保护罩剔除所有的障碍物,不能够让各种食物碰到女孩。玩法...
8.4/1,118.5M
文明聊城手机客户端是专门为聊城准备的一款文明城市的app软件,这里可以为你提供最新的时尚的阵地,里面有很多的城市沟通的朋友,需要的赶快来下载!文明聊城客户端介绍...
查看
9.0/751.3M
喜欢玩手机消除类的游戏的朋友们,小编今天又给你们找来了一款不错的水果类消除的游戏--水果粉碎!有兴趣的朋友都可以来体验下这款消除游戏!水果粉碎介绍FruitCr...
9.4/875.0M
特效美颜相机,高甜少女相机提供了大量精美滤镜,随时随地随手拍出精美大片,美颜自然,拍出最美的你!还能编辑美化图片,制作专属于你的头像。高甜少女相机特点1.一键拍...
9.9/1,327.8M
主要适用于全网包裹查询,支持淘宝、天猫、京东、苏宁等网购包裹自动跟踪,菜鸟裹裹app同时覆盖国内外140多家快递公司。核心支持国内外快递运单查询、线上预约寄快递...
8.0/1,301.4M
MidiPlayer是一个绿色免费的音乐播放器,具有多个强大的媒体设置功能,而且体积小巧,音质出色,作为音乐播放器来说非常实用。软件特点1.Bassmidi合成...
8.2/506.5M
喷气式战斗机3D手游是一款逼真的模拟飞行战斗游戏,你将驾驶者自己的飞机进行作战,在世界各地中完成各种任务,摧毁全球的敌人,还有不同的战斗机可供选择,多种对战模式...
8.1/1,927.9M
觉得自己很厉害,想要秀一秀那么就来对手短视频吧,这里是拼才艺的短视频平台,功能多,玩法多,乐趣多,支持视频打赏,用你的才艺来征服别人吧。功能介绍【才艺PK】海量...
9.5/1,290.9M
像球球大作战一样的游戏虫虫大作战来了,小编为大家带来了一款虫虫大作战平衡性补丁,帮助大家更改各种虫子的攻击力和平衡力。非常的好用,欢迎前来东坡下载使用。虫虫大作...
8.3/1,093.5M
零数SOHO是一款专为自由职业者打造的工作和生活服务平台。旨在帮助自由职业者更高效地管理项目、时间、客户和收入,同时为他们提供一个互相交流、学习和成长的社区。软...
8.9/873.3M
搜狗输入法择天记吴倩皮肤包是一款可以让你在搜狗输入法中使用的一个皮肤替换包,让你可以使用吴倩作为输入法的皮肤,需要的下载吧。皮肤简介:《择天记》是由鹿晗、古力娜...
7.9/912.5M
手机版的视频格式转换软件,文件趣转换app将不同格式的文件转化成你常用的格式,还可以进行视频拼接、加水印等功能。文件趣转换app功能1、免费使用格式转换工具,帮...
8.6/172.4M
国庆节婚纱照宣传册设计照片是一套非常好用的资源,里面为大家集合了国庆节婚纱照宣传册设计照片大全,欢迎下载体验!相关新闻:三亚婚纱摄影可谓是五花八门,让好多新人看...
8.4/1,703.0M
考驾照你选择什么样子的app软件是最好以及最方便的了?可以使用小江驾考app,一键就可以搞定你的这些问题,轻松的拿到你需要的驾照,以及在线预约!小江驾考介绍小江...
8.8/1,248.5M
最近模拟类型手机游戏都十分火,很多抖音用户都在玩,这款电钻模拟器可以模拟电钻发出的声音,可以用来恶搞的你朋友家人,还可以恶搞你的邻居哦!游戏介绍游戏玩法比较简单...
9.3/893.3M
库客音乐是一款非常好用的古典音乐播放软件,海量优质的音乐资源,各种优质的音乐随便用户们收听。用户们可以寻找到自己喜欢的音乐,可以收藏起来,方便下次聆听,用户们也...
8.3/1,114.4M
我的世界地下城正版是一个黄色图标的版本,不是传统我的世界版本哦。我的世界地下城版和传统版本有何不同呢,这个版本主打的就是战斗玩法,超多武器,副本关卡,pk打怪哦...
7.7/721.0M
今天网易的大唐无双手游正式公测,很多玩家想抢先体验一把却发现很多都安装不上,东坡这里附上网易最新推出的大唐无双手游修复版,修复一些机型无法安装的问题,如果你的手...
7.5/224.1M
专心学习app是一款帮助提升工作学习效率、保持专注的时间管理软件。清晰直观的屏幕使用时间统计,让你更好的进行时间管理与规划;极简的番茄钟计时,让你杜绝分心高效完...
7.7/641.3M
碰碰空间app是一个全新的兴趣社交软件,用户可以通过软件结交感兴趣的朋友,拥有好玩有趣的匹配模式,可以为你匹配有趣的人!平台介绍一个趣味社交软件,可以结交有趣的...