正向代理正向代理，英文名为Forward Proxy。一般情况下，如果没有特别说明，代理技术默认说的是正向代理技术。 正向代理是一个位于客户端【用户A】和原始服务器(origin server)【服务器B】之间的服务器【代理服务器Z】，为了从原始服务器取得内容，用户A向代理服务器Z发送一个请求并指定目标(服务器B)，然后代理服务器Z向服务器B转交请求并将获得的内容返回给客户端。客户端必须要进行一些特别的设置才能使用正向代理。 正向代理的架构图如下： 使用正向代理的原因或优势有： （1）通过代理 ...

定位Python程序的性能12python -m cProfile xxx.pypython -m profile xxx.py 备注：建议使用cProfile就好了，cProfile会更高效，因为它是用C开发的。 使用pdb调试Python程序1python -m pdb xxx.py 详细内容参见《Python中DEBUG调试模块PDB使用》 使用Python快速启动HTTP服务器1python -m SimpleHTTPServer 使用Python快速搭建FTP服务器123pip ins ...

uWSGI | WSGI | uwsgi三者的区别WSGIWSGI，全称为Web Server Gateway Interface，是Python语言中专有的接口协议，WSGI是一种类似于CGI/FastCGI等的通信协议。 下面以一个例子来说明WSGI协议， （1）编写一个支持WSGI协议的web服务器 server.py使用支持WSGI协议的wsgiref服务器，并关联了用户程序application，代码如下： 1234567#server.pyfrom wsgiref.simple_se ...

Scrapy简介Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取（更确切来说，网络抓取）所设计的， 也可以应用在获取API所返回的数据（例如Amazon Associates Web Services）或者通用的网络爬虫。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2 ...

网页抓取器（1）Python官方支持库 Python原生的http库，如urllib，urllib2，urllib3等。需要注意的是，urllib和urllib2是相互独立的模块，不是升级版的意思。如下为urllib/urllib2的简单使用示例： 12urllib.urlencode({'param1': 'hello', 'param2': 'world'})response = urllib2.urlopen(url) （2）第三方库requests requests是 ...

selenium | PhantomJS简介PhantomJS是一个基于webkit的没有界面的浏览器，也就是它可以像浏览器解析网页，功能非常强大。selenium是一个web的自动测试工具，可以模拟人的操作，支持市面上几乎所有的主流浏览器（Chrome/FireFox等），同时也支持PhantomJS这种无界面浏览器。 正是有了PhantomJS这种无界面的浏览器，所以我们可以在Linux字符界面下，截取网页内容并生成图片。 Linux下使用selenium+PhantomJS截取网页（1）安 ...

表记录删除在生产环境中，一般来说是不会物理删除数据库表中的一些的记录的，而是进行逻辑删除。比如在表中增加一个tag字段。若tag=1则表示已删除；若tag!=1表示没有被删除。 mysql中使用\G格式化输出使用mysql的client工具，如select * from user_msg limit 2\G;，可以以如下的格式输出： 12345678mysql> select * from user_msg limit 2\G;*************************** 1. ...

MySQL登录（1）利用TCP/IP连接，客户端和服务端可以在不同的机器上 12mysql -h12.45.23.41 -uwahaha -pmysql -h12.45.23.41 -P3345 -uwahaha -p #非标准的3306端口 然后输入用户密码，若无密码，直接回车即可。 （2）利用Unix域套接字来连接，客户端和服务端要在同一台机器上 1mysql -S /var/lib/mysql/mysql.sock -uroot -p 查看基础信息12345678910show dat ...

查看master库的binlog是否开启1show variables like 'log_%'; 查看master的所有binlog文件的名称和大小12show master logs; show binary logs; --同show master logs一样的效果 查看master状态，即最后(最新)一个binlog日志文件的文件名称，及其最后一个操作事件的End Position值在主库上执行如下命令： 1show master status; 查看主库master的所有从库 ...

mysql二进制日志binlog简介mysql二进制日志binlog可以说是MySQL最重要的日志了，它记录了所有的DDL和DML（除了数据查询语句）语句，还包含语句所执行的消耗的时间，MySQL的二进制日志是事务安全型的。一般来说开启二进制日志大概会有1%的性能损耗（参见MySQL官方中文手册5.1.24版）。 二进制有两个最重要的使用场景： （1）mysql基于binlog的主从复制。 （2）数据恢复，通过使用mysqlbinlog工具来使恢复数据。 二进制日志binlog包括两类文件： （ ...