今天记录一下在做数据挖掘时遇到的一些常见反爬策略以及应对方法。 主要是通过设置随机的 User-Agent，以及使用代理 IP 池来解决访问频率限制的问题。 后续会更新更多关于 Selenium 的使用技巧。