在Scrapy中集成selenium采集数据 发表于 2020-10-23 09:16:41 更新于 2025-02-05 12:50:01 分类于 Scrapy前言scrapy 是一个很强大的框架,但是在遇到反爬很强的网站时就无能为力了,这时候最好的解决办法就是使用 selenium 控制真实的浏览器去执行网页,然后从浏览器中获取到页面的源代码,之后进行正常的采集流程。阅读全文 »
SQL Server存储过程中Cursor的使用 发表于 2020-10-21 21:06:58 更新于 2025-02-05 12:50:01 分类于 SQL前言今天接手了一个 SQL Server 存储过程的活,需要修改原来的存储过程,添加一部分业务逻辑,简单查了下存储过程的使用方法。阅读全文 »
scrapy学习之爬虫练习平台3 发表于 2020-10-20 11:14:44 更新于 2025-02-05 12:50:01 分类于 Scrapy前言上一篇文章爬取了爬虫练习平台的 spa 部分,有 Ajax 和接口加密,没有涉及到登录,都是 GET 请求。本篇文章继续爬后面的 login 部分,涉及到了登录和验证。阅读全文 »
scrapy学习之爬虫练习平台2 发表于 2020-10-19 15:23:09 更新于 2025-02-05 12:50:01 分类于 Scrapy前言上一篇文章中爬取了爬虫练习平台的所有 ssr 网站,都是比较简单的,没有反爬措施,这次来爬一下后面的 spa 系列。阅读全文 »
scrapy学习之爬虫练习平台爬取 发表于 2020-10-19 10:58:49 更新于 2025-02-05 12:50:01 分类于 Scrapy前言为了练习 Scrapy,找了一个爬虫练习平台,网址为:https://scrape.center/,目前爬取了前十个比较简单的网站,在此感谢平台作者提供的练习平台。阅读全文 »
通过cmd方便的修改IP地址 发表于 2020-10-17 20:00:06 更新于 2025-02-05 12:50:01 分类于 Windows前言之前一直背着笔记本在公司和家里来回跑,公司和家里的网络拓扑还不一样,公司是固定 IP,家里是动态获取,所以导致每次到家或者公司都要手动更改 IP 地址,很麻烦,所以简单写了个脚本方便的更改 IP 地址。阅读全文 »
Windows开启端口转发功能 发表于 2020-10-17 18:53:55 更新于 2025-02-05 12:50:01 分类于 Windows前言端口转发,这个功能在平时的开发中用到的还是比较多的,记录下 Windows 如何使用自带的软件实现端口转发。阅读全文 »
frp同时转发远程桌面的TCP和UDP端口 发表于 2020-10-12 13:47:31 更新于 2025-02-05 12:50:01 分类于 内网穿透前言笔记本放在家里,通过远程桌面连上去使用,不用每天都背着电脑跑来跑去了哈哈。但是使用过程中发现鼠标稍稍有一点不跟手,和服务器的延迟并不高,单向顶多十几毫秒,研究了下发现是因为单纯使用 TCP 的问题,所以就有了这篇文章。阅读全文 »
高级电源设置中电池的通知与报警区别 发表于 2020-10-10 13:51:58 更新于 2025-02-05 12:50:01 分类于 Windows前言准备将笔记本放在家里边通过 ZeroTier One 远程使用,需要设置下笔记本的高级电源设置,防止停电的时候笔记本自动关机丢失数据,但是没搞懂这几个低电量提醒的区别,遂有了这篇文章。阅读全文 »
虚拟设备之TUN和TAP 发表于 2020-09-28 21:05:21 更新于 2025-02-05 12:50:01 分类于 虚拟网卡前言最近尝试了下 Zerotier,感觉还挺好用的, 比较好奇它的实现原理,查了下,遂有了下文。阅读全文 »