0%

前言

昨天一个知乎朋友提示我我的文章被未授权转载了,而且还不止一篇,我去看了下,的确是转载了我的文章,而且没有署名没有添加我文章的链接,这就叫人比较气愤了。虽然只有个位数的访问量😂,但毕竟都是原创不是,还是要想办法尽量防止这种情况。

阅读全文 »

前言

昨晚在群里看到一个下载网站限时视频的需求,要来网站稍微分析了一下,发现有点意思,不能直接 ffmpeg 下载,需要在请求头添加加密参数才可以,而且有时间限制,稍微慢一下就报 403,下面开始分析。

阅读全文 »

前言

临时接到了一个需求,需要使用 PPT 做一个展示界面,PPT 画完了,通过 VBA 脚本请求 RESTful 接口来控制画面中文本框的数值和颜色变化,这就需要将 PPT 中文本框原始的 文本框 xx 修改为有意义的值,方便在循环中使用 VBA 去设置值和更改颜色。

阅读全文 »

前言

平时使用装饰器的过程中,大多数情况都是用装饰器来装饰同步函数,如果有需要装饰异步函数的需求就不能像以前一样使用了,这篇文章来学习下如何使用装饰器来装饰异步函数。

阅读全文 »

前言

最近项目中使用到了 Redis 中的 stream 数据类型作为消息队列使用,相比于其他 redis 实现的消息队列更加方便。由于是第一次使用,记录下知识点以后备用。

阅读全文 »

前言

本篇文章是这个爬虫练习平台的最后一篇了,由于是学习 Scrapy,所以前面跳过了验证码逆向的题目,后面跳过了 APK 逆向的题目,验证码和 APK 看情况以后再单独写文章。本篇文章写使用代理 IP 突破 IP 地址反爬。

阅读全文 »

前言

上一篇文章讲了如何使用 scrapy 和 selenium 搭配来爬取数据,这篇文章来写一下如何用 selenium 来爬取使用 Ajax 加载数据的网站并且过掉反爬。

阅读全文 »

前言

scrapy 是一个很强大的框架,但是在遇到反爬很强的网站时就无能为力了,这时候最好的解决办法就是使用 selenium 控制真实的浏览器去执行网页,然后从浏览器中获取到页面的源代码,之后进行正常的采集流程。

阅读全文 »