一个小工具可以更快的写爬虫

网友投稿 268 2022-09-20

一个小工具可以更快的写爬虫

你好,我是 somenzz,我想你应该写过爬虫吧,就是那个 requests 库,它太好用了,应该没有人不知道 requests。

通常我们使用谷歌浏览器的开发者工具(F12)查找网络请求,然后将网络请求里面的 url、headers、cookie、user-agent、请求的参数等等,记录下来,然后,用 requests 模拟浏览器发出的请求。

这些简单无脑复制操作,让我觉得写爬虫真的累,有没有一个工具,可以直接把这个请求转化为 Python 代码?

还真有!

那就是 curlconverter[1]

用法很简单:

以谷歌浏览器为例:

1、在「开发者工具」中打开「Network」选项卡

2、右键单击(或按住 Ctrl 键单击)请求

4、将其粘贴到上面的 curl 命令框中

选择需要转换语言(默认就是 Python),就可以复制代码了,非常方便:

最后的话

这个工具真是相见恨晚,可以大大节省你写爬虫花费的时间,请记住网址是:​​https://curlconverter.com/​​

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:“神秘职业”制冰师的解码游戏!
下一篇:查看mysql运行日志:mysql_general_log
相关文章

 发表评论

暂时没有评论,来抢沙发吧~