PHP与正则爬虫实践
一、前言之前听说过我们学校有一个学生信息的接口,最近这几天闲来无事,打算用PHP做一个爬虫,爬一下数据。由于我对数据的情有独钟,因此,弄完后打算写个文章记录下我的过程,也算是温习一下(这其中有个小插曲:本来我都写完了,可是因手贱原因,重新安装系统了,又手贱把D盘的一些软件全删了,重新安了一遍,结果把写好的爬虫文件删除了。。。。。。尝试用Recuva软件恢复,可是还是没恢复成功,没办法了,周六中午10点又写了一遍,两个小时吧,才弄好。。。真是累呀~~~~~)。推荐几个关于正则表达式的链接:正则表达式在线工具 —-正则表达式速查表—-下载正则表达式CHM 二、正文这里只用PHP写了爬虫,毕竟其他的我也不会。考虑到需要使用正则,因此我又去温习了一遍正则,网上有很多正则学习的地方,这里就不举例了。因为我是爬的校园内的接口,因此我会隐去网址的一部分。 首先需要获取目标网址,下面 $url 为目标地址,$num 为学号,这个接口是使用学号查询的,因此把学号弄成变量。 $html=file_get_contents($url.$num);$html=str_replace(array(&quo...
Shadowsocks一键安装脚本
一、Shadowsocks介绍Shadowsocks(中文名称:影梭)是使用Python等语言开发的、基于Apache许可证开源的代理软件。Shadowsocks使用socks5代理,用于保护网络流量。Shadowsocks分为服务器端和客户端。在使用之前,需要先将服务器端部署在支持Python等的服务器上面,然后通过客户端连接并创建本地代理。此外用户也可以选择购买基于Shadowsocks的商业服务,以获得更加稳定可靠的服务,或者免去自行部署的麻烦。目前开发者Clowwindy由于一些原因已宣布停止维护,shadowsocksR 的作者已表示会继续开发新版本。 对于想要使用SS的用户来说,相比在网路上买一些月供几十的SS服务商的出售的SS账户,自己倒不如买个便宜点的VPS自己构建一个SS服务器,为防止VPS资源过剩,自己也可以干点别的事情,这里给出了使用三种语言搭建SS服务器的一键安装脚本,供大家使用。 二、Python一键脚本 适用条件:系统为CentOS 6,7,Debian,Ubuntu 、内存≥128M 配置:服务器端口默认为8585 ,客户端端口为1080 ,密码默...
Linux下有趣的东西
如果你习惯使用Linux的Shell方式,而不是经常用Linux的界面形式,那你一定会学到更多东西,更能体会在门外汉看起来的高大上,但是,不要以为命令行的形式有多么枯燥,命令行中也有很多有意思的东西哦,例如可爱的小火车(sl),程序猿的愤怒(yes),会说话的ASCII动物(cowsay/cowthink),随机输出一句话(fortune),让字符变为彩色的(lolcat),用符号拼凑字母(banner 和 figlet),终端上网(w3m),屏幕录制(script 和 scriptreplay),显示logo的(linuxlogo),分解因数(factor),屏保(cmatrix),屏幕燃烧(aafire),输出艺术字(toilet),不一样的音乐播放器(bb),观看星球大战(telnet)等。 一、命令介绍1.1、可爱的小火车slsudo apt-get install sl 当输入sl时就会有小火车路过哦!输入sl -l会出现加长版的小火车,输入sl -F就会出现晃动的小火车再来个晃动的小火车:其实,这个也可以用来恶搞别人,如果你输入: alias ls=sl ...
vsftpd搭建FTP服务器
一、要求现在我们需要在Ubuntu14.04上利用vsftpd创建ftp服务器环境,然后在禁止匿名访问的前提下,创建以下四个虚拟用户并配权: 一个用户为:tea1,密码为:tea1pass,进入tea1目录(对该目录及其子目录拥有所有权限,不可进入上级目录)。 一个用户为:tea2,密码为:tea2pass,进入tea2目录(对该目录及其子目录拥有所有权限,不可进入上级目录)。 一个用户为:stu,密码为:stupass,进入ftp总目录(只拥有上传文件权限,不可进入上级目录)。 一个用户名为:admin,密码为:admin,进入ftp总目录(拥有ftp的全部权限)。 注:ftp的主目录为/home/ftp/ftp,如果需要创建其他用户,或者修改用户权限,使用SSH修改。 二、vsftpd安装:在配置vsftpd之前,我们先安装vsftpd,vsftpd的安装比较简单。我们直接使用apt-get进行安装,如下: sudo apt-get -y install vsftpd 安装步骤很简单,这一个命令就ok了,不过配置才是大头。你可以使用下面的命令尝试去看vsftpd安装的...
pptpd搭建VPN服务器
一、正题 安装pptpd 安装之前,先更新一下源,sudo apt-get update 然后安装:sudo apt-get install pptpd 配置内网ip策略 sudo vim /etc/pptpd.conf 在文件中加入下面2行代码(其实文件末尾有这段代码,不过前面有注释,你也可以直接去掉注释): localip 192.168.0.1 remoteip 192.168.0.234-238,192.168.0.245 注意:localip 自己服务器的IP(pptpd中设置的,并不是你的服务器真正的ip,此处可以理解为使用路由器时,路由器的管理ip,remoteip 分配给客户端的IP ,所有使用该vpn服务器都会获得该ip段内的一个IP) 配置dns sudo vim /etc/ppp/pptpd-options 在该文中加入下面2行,也可以配置其他dns: ms-dns 8.8.8.8 ms-dns 8.8.4.4 配置VPN帐号 sudo vim /etc/ppp/chap-secrets 添加vpn账号、服务器名、vpn...
Red Hat课堂学习知识点笔记
一、环境及目录课堂讲述及联想所记,便于自己后来查阅同时与他人便利。 两款虚拟机:VMware Workstation 12 Pro、VirtualBox 5.1.22 Rad Hat镜像:RedHat-Server-6.4-i386 其他一些工具:XShell 5、Putty 二、目录列表 1.VMware的VMware Tools安装与VirtualBox的增强工具2.RedHat的root用户的密码初始化3.RedHat无法使用yum安装软件解决方法4.添加KDE桌面/中文支持和VNC设置体验5. XShell和X11转发 2.1、VMware的VMware Tools安装与VirtualBox的增强工具为了加强同时使用虚拟机与主机的用户体验,像是实现虚拟机和主机图形用户界面之间平滑移动鼠标光标等的需求,我们在两款虚拟机软件中安装对应的增强工具。 2.2、安装VMware的VMware Tools: 在虚拟机中进入桌面后,点击VMware菜单栏的”虚拟机”,然后点击”安装VMware Tools”,在RedHat中确定VMware Tools的挂载点位置。 将...
Ubuntu搭建OpenVPN服务器
一、说明对于vpn以前使用最多的是pptpd这个解决方案,但是pptpd相对于OpenVPN来说,没有OpenVPN安全,而且pptpd在Linux下命令行支持不是很好,稳定性也不如OpenVPN。所以最后就选择OpenVPN来搭建VPN。本文的OpenVPN Server安装在Ubuntu 14.04上安装.有关OpenVPN在CentOS6.6 64bit的配置完全可以使用,已经经过验证。文章后有CentOS详细配置命令及步骤。 二、OpenVPN原理 OpenVPN通过使用公开密钥(非对称密钥,加密解密使用不同的key,一个称为Publice key,另外一个是Private key)对数据进行加密的。这种方式称为TLS加密 OpenVPN使用TLS加密的工作过程是,首先VPN Sevrver端和VPN Client端要有相同的CA证书,双方通过交换证书验证双方的合法性,用于决定是否建立VPN连接。 然后使用对方的CA证书,把自己目前使用的数据加密方法加密后发送给对方,由于使用的是对方CA证书加密,所以只有对方CA证书对应的Private key才能解密该数据,这样就保证了...

