针对JS动态渲染网页无法通过普通爬虫抓取的问题，本文介绍了一种基于PhantomJS的Python代理方案。通过提取pyspider的核心模块，构建了轻量级的PhantomjsFetcher工具，支持同步异步调用及自定义JS脚本执行，有效解决了动态页面数据采集难题。
PhantomJS代理方案背景
近期在处理网站数据抓取任务时，遇到页面内容完全由JavaScript动态渲染生成的情况，传统静态爬虫框架难以直接获取有效数据。为此，考虑利用PhantomJS构建一个代理服务来解决这一难题。
在Python生态中，目前似乎缺乏直接调用PhantomJS的成熟第三方库（如有遗漏请指正）。经过调研发现，pyspider框架提供了较为完整的解决方案。
初步体验pyspider后，感觉它更像是一个面向新手的完整爬虫工具集，功能虽全面但有时显得冗余。作为一个追求轻量级的开发者，我更倾向于使用小巧的工具，以便能继续使用熟悉的BeautifulSoup进行HTML解析，避免学习PyQuery，同时也摆脱在浏览器环境中编写Python代码的不便体验。
因此，耗时一下午时间，从pyspider中剥离出实现PhantomJS代理的核心部分，将其封装为一个独立的轻量级爬虫模块，分享给广大开发者（特别感谢binux的贡献）。
环境准备与启动
环境准备
首先需确保系统中已安装PhantomJS，这是基础前提（在Linux环境下建议使用supervisord进行进程守护，以确保抓取期间PhantomJS服务持续运行）。 启动方式：在项目路径下执行phantomjs_fetcher.js，命令格式为：phantomjs phantomjs_fetcher.js [port]。 此外，需安装tornado库，因为该方案使用了tornado的httpclient模块。
实际调用过程非常简便。
Python调用示例
from tornado_fetcher import Fetcher
# 创建一个爬虫
>>> fetcher=Fetcher(
user_agent='phantomjs', # 模拟浏览器的User-Agent
phantomjs_proxy='http://localhost:12306', # phantomjs的地址
poolsize=10, # 最大的httpclient数量
async=False # 同步还是异步
)
# 开始连接Phantomjs的代码，可以渲染JS！
>>> fetcher.fetch(url)
# 渲染成功后执行额外的JS脚本（注意用function包起来！）
>>> fetcher.fetch(url, js_script='function(){setTimeout("window.scrollTo(0,100000)}", 1000)')
完整代码示例见 https://github.com/2shou/PhantomjsFetcher