python网络爬虫实战-requests 反爬虫技术
添加请求头（headers） 某些网站会发现这不是一个由正常游览器发送的请求，于是可能返回异常结果，导致网页爬取失败，于是请求头就解决这个问题。 headers = { 'User-Agent': 'Mozilla/5.0', } response = requests.get('https://example.com', headers=heade...
Hello, I’m geo
Designs, talks, and writes about web, ethics, privacy, and dev. I share dev tutorials, free resources and inspiration. Loves music & riding his bicycle.
Latest Posts
python网络爬虫实战-requests
大家好，我是python网络爬虫这门课程的主要讲师geo 在正式学习 requests 之前，我们必须先搞清楚一个问题： 爬虫到底在做什么？ 人类访问网页的过程 当你在浏览器输入： https://www.google.com 浏览器会做几件事情： 向服务器发出 HTTP 请求 服务器接收到请求 服务器返回 HTTP 响应 浏览...
python网络爬虫实战-前言
大家好，我是python网络爬虫这门课程的主要讲师geo 什么是网络数据采集? 别名网络爬虫web crawler 、网络蜘蛛（spider） 是一种基于规则对网址中文本、图片等信息进行自动抓取的程序。 爬虫通过模拟真实用户，向服务器发送请求，持续对网页数据进行抓取，直到达成某一条件时停止。 爬虫的本质是在海量的数据中通过筛选收集有用的信息，最终进行分...