LLLibra146's blog

前言

本篇文章是这个爬虫练习平台的最后一篇了，由于是学习 Scrapy，所以前面跳过了验证码逆向的题目，后面跳过了 APK 逆向的题目，验证码和 APK 看情况以后再单独写文章。本篇文章写使用代理 IP 突破 IP 地址反爬。

前言

上一篇文章讲了如何使用 scrapy 和 selenium 搭配来爬取数据，这篇文章来写一下如何用 selenium 来爬取使用 Ajax 加载数据的网站并且过掉反爬。

前言

scrapy 是一个很强大的框架，但是在遇到反爬很强的网站时就无能为力了，这时候最好的解决办法就是使用 selenium 控制真实的浏览器去执行网页，然后从浏览器中获取到页面的源代码，之后进行正常的采集流程。

前言

今天接手了一个 SQL Server 存储过程的活，需要修改原来的存储过程，添加一部分业务逻辑，简单查了下存储过程的使用方法。

前言

上一篇文章爬取了爬虫练习平台的 spa 部分，有 Ajax 和接口加密，没有涉及到登录，都是 GET 请求。

本篇文章继续爬后面的 login 部分，涉及到了登录和验证。

前言

上一篇文章中爬取了爬虫练习平台的所有 ssr 网站，都是比较简单的，没有反爬措施，这次来爬一下后面的 spa 系列。

前言

为了练习 Scrapy，找了一个爬虫练习平台，网址为：https://scrape.center/，目前爬取了前十个比较简单的网站，在此感谢平台作者提供的练习平台。

前言

之前一直背着笔记本在公司和家里来回跑，公司和家里的网络拓扑还不一样，公司是固定 IP，家里是动态获取，所以导致每次到家或者公司都要手动更改 IP 地址，很麻烦，所以简单写了个脚本方便的更改 IP 地址。

前言

端口转发，这个功能在平时的开发中用到的还是比较多的，记录下 Windows 如何使用自带的软件实现端口转发。

前言

笔记本放在家里，通过远程桌面连上去使用，不用每天都背着电脑跑来跑去了哈哈。但是使用过程中发现鼠标稍稍有一点不跟手，和服务器的延迟并不高，单向顶多十几毫秒，研究了下发现是因为单纯使用 TCP 的问题，所以就有了这篇文章。