iPySpider

基于Python 3.x的网络爬虫与信息提取

网页即接口 The website is the API.

网络请求库

• urllib Python内置标准库
• requests 基于urllib的再次封装

文档解析及信息提取库

• lxml
• pyquery
• beautifulsoup
• re

网络爬虫框架

• scrapy

实现定时爬虫任务

• APScheduler