利用nas或者vps爬取91视频大片

之前写了一片黑群晖6.2的安装教程,今天闲逛知乎想找一找黑群晖还能进行什么高级应用,看见某匿名答主写的爬取91视频的代码。嗯~~小研究了下,确实很不错。使用国内的nas爬视频,因为有墙的存在,不如直接使用vps下载,但是答主并没有详细介绍如何使用,对于小白有些摸不到头脑。下面介绍下使用教程,以ubuntu16.04为例。 首先使用xshell连接到你自己的nas或者vps。 1、更新ap-get apt-get update 2、安装php apt-get install php-fpm 3、验证以下php php -v 这里看到安装的是php7.0版本 4、安装php curl xml组件 apt-get install php-curl php-xml 5、进入你要运行此程序的目录并复制代码 git clone https://github.com/zzjzz9266a/91porn_php 6、运行程序(这里根据你的需要运行不同的程序,我这里是91all.php,后面介绍各个程序的功能) php 91all.php 7、运行结果 可以看到此vps下载速度是非常快的。运行程序一定要注意主机的剩余流量哦。 其他说明: 1、当前版本的下载机制是先下到内存里,再存到磁盘上,以防止下载中断导致文件不完整。所以请调整downloader.php中内存的限制,最好在256mb以上,否则有可能出现内存溢出。 ini_set(‘memory_limit’,’2048M’); //调整最大占用内存 2、91porn.php是爬取首页的视频,直接运行即可, php 91porn.php 91all.php是爬取列表页的,例如“收藏最多”、“本月最热”等等,要别的列表的话可以去找对应的url。 listPage(“http://91porn.com/v.php?category=top&viewtype=basic”); //本月最热 listPage(“http://91porn.com/v.php?category=mf&viewtype=basic”); //收藏最多 listPage(“http://91porn.com/v.php?category=md&viewtype=basic”); //本月讨论 如果只想下载某一类,再其他listpage前加上#即可。 3、下载后的视频我是通过ftp下载到本地的。作者自己也写了vps的使用下载方法,请关注该作者的github,地址。