LLLibra146's blog

前言

最近项目中使用到了 Redis 中的 stream 数据类型作为消息队列使用，相比于其他 redis 实现的消息队列更加方便。由于是第一次使用，记录下知识点以后备用。

前言

上篇文章中遇到了一个问题，就是在 process_request 函数中返回 request 对象导致爬虫退出的问题，这篇文章来解释下。

前言

本篇文章是这个爬虫练习平台的最后一篇了，由于是学习 Scrapy，所以前面跳过了验证码逆向的题目，后面跳过了 APK 逆向的题目，验证码和 APK 看情况以后再单独写文章。本篇文章写使用代理 IP 突破 IP 地址反爬。

前言

上一篇文章讲了如何使用 scrapy 和 selenium 搭配来爬取数据，这篇文章来写一下如何用 selenium 来爬取使用 Ajax 加载数据的网站并且过掉反爬。

前言

scrapy 是一个很强大的框架，但是在遇到反爬很强的网站时就无能为力了，这时候最好的解决办法就是使用 selenium 控制真实的浏览器去执行网页，然后从浏览器中获取到页面的源代码，之后进行正常的采集流程。

前言

今天接手了一个 SQL Server 存储过程的活，需要修改原来的存储过程，添加一部分业务逻辑，简单查了下存储过程的使用方法。

前言

上一篇文章爬取了爬虫练习平台的 spa 部分，有 Ajax 和接口加密，没有涉及到登录，都是 GET 请求。

本篇文章继续爬后面的 login 部分，涉及到了登录和验证。

前言

上一篇文章中爬取了爬虫练习平台的所有 ssr 网站，都是比较简单的，没有反爬措施，这次来爬一下后面的 spa 系列。

前言

为了练习 Scrapy，找了一个爬虫练习平台，网址为：https://scrape.center/，目前爬取了前十个比较简单的网站，在此感谢平台作者提供的练习平台。

前言

之前一直背着笔记本在公司和家里来回跑，公司和家里的网络拓扑还不一样，公司是固定 IP，家里是动态获取，所以导致每次到家或者公司都要手动更改 IP 地址，很麻烦，所以简单写了个脚本方便的更改 IP 地址。