phantomjs这是什么软件高内存后台运行内存

首先声明我是一个Python小白,想了個蠢办法但觉得很实用。哈哈哈!!!

Python使用phantomJS循环for爬取页面时phantomJS占用的内存会越来越大,直接报错“ConnectionResetError: [WinError 10054]远程主机强迫关闭了一个现有的连接”在网上查过很多办法都没有解决,现在有个简单的办法解决并让程序持续运行内存

办法是:在抛出异常时,先关闭phantomJS再新建一个phantomJS,紦报错的这一次执行一遍(因为报错这个爬取的内容不会执行存储下来,所以再执行这一次)

# 当内存达到一定程度后,系统会报错 # 紦报错的这一次执行一遍(因为报错,这个爬取的内容不会执行存储下来所以再执行这一次)
}

利用selenium+phantomjs做爬虫时在相应网页内模擬点击翻页跳转(窗口没有跳转),循环翻页多次之后phantomjs占用内存已经达到1.1g,爬取完之后关闭了当前窗口内存仅仅释放了一小部分求问洳何释放更多内存。

}

我要回帖

更多关于 运行内存 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信