LLLibra146's blog

Personal note

前言

最近项目中使用到了 Redis 中的 stream 数据类型作为消息队列使用,相比于其他 redis 实现的消息队列更加方便。由于是第一次使用,记录下知识点以后备用。

阅读全文 »

前言

本篇文章是这个爬虫练习平台的最后一篇了,由于是学习 Scrapy,所以前面跳过了验证码逆向的题目,后面跳过了 APK 逆向的题目,验证码和 APK 看情况以后再单独写文章。本篇文章写使用代理 IP 突破 IP 地址反爬。

阅读全文 »

前言

上一篇文章讲了如何使用 scrapy 和 selenium 搭配来爬取数据,这篇文章来写一下如何用 selenium 来爬取使用 Ajax 加载数据的网站并且过掉反爬。

阅读全文 »

前言

scrapy 是一个很强大的框架,但是在遇到反爬很强的网站时就无能为力了,这时候最好的解决办法就是使用 selenium 控制真实的浏览器去执行网页,然后从浏览器中获取到页面的源代码,之后进行正常的采集流程。

阅读全文 »

前言

之前一直背着笔记本在公司和家里来回跑,公司和家里的网络拓扑还不一样,公司是固定 IP,家里是动态获取,所以导致每次到家或者公司都要手动更改 IP 地址,很麻烦,所以简单写了个脚本方便的更改 IP 地址。

阅读全文 »
0%