; Python的模块及详解(1) | Linux运维部落

Python的模块及详解(1)

psuitil模块

filecmp模块

pycurl模块

一、系统性能信息模块psuitil

psutil是一个跨平台库(http://code.google.com/p/psutil/),能够轻松实现获取系统运行的进程和系统利用率(包括CPU、内存、磁盘、网络等)信息。它主要应用于系统监控,分析和限制系统资源及进程的管理。它实现了同等命令行工具提供的功能,如ps、top、lsof、netstat、ifconfig、who、df、kill、free、nice、ionice、iostat、iotop、uptime、pidof、tty、taskset、pmap等。

1.安装:

#wget https://pypi.python.org/packages/source/p/psutil/psutil-2.0.0.tar.gz --no-check-certificate 
# tar -xzvf psutil-2.0.0.tar.gz 
# cd psutil-2.0.0 
# python setup.py install

2.获取系统性能信息

CPU信息:

>>> import psutil

>>> psutil.cpu_times()#使用cpu_times方法获取CPU完整信息,需要显示所有逻辑CPU信息,

>>> #指定方法变量percpu=True即可,如psutil.cpu_times(percpu=True) 

scputimes(user=38.039999999999999, nice=0.01, system=110.88, idle=177062.59, iowait=53.399999999999999, irq=2.9100000000000001, softirq=79.579999999999998, steal=0.0, guest=0.0) 

>>> psutil.cpu_times().user #获取单项数据信息,如用户user的CPU时间比 38.0 

>>> psutil.cpu_count() #获取CPU的逻辑个数,默认logical=True4 

>>> psutil.cpu_count(logical=False) #获取CPU的物理个数 2 

内存信息:

psutil.virtual_memory()   #获取内存完整信息

psutil.virtual_memory().total   #获取内存总数

psutil.virtual_memory().free    #获取空闲内存数
psutil.swap_memory()      #获取SWAP分区信息

磁盘信息:

磁盘IO信息包括read_count(读IO数)、write_count(写IO数)、read_bytes(IO读字节数)、write_bytes(IO写字节数)、read_time(磁盘读时间)、write_time(磁盘写时间)等

psutil.disk_partitions()    #获取磁盘完整信息

psutil.disk_usage('/')     #获取分区的使用情况

psutil.disk_io_counters()   #获取硬盘的IO个数、读写信息

psutil.disk_io_counters(perdisk=True)    #获取单个分区IO个数、读写信息

网络信息:

系统的网络信息与磁盘IO类似,涉及几个关键点,包括bytes_sent(发送字节数)、bytes_recv=28220119(接收字节数)、packets_sent=200978(发送数据包数)、packets_recv=212672(接收数据包数)等。

psutil.net_io_counters()         #获取网络总的IO信息,默认pernic=False

psutil.net_io_counters(pernic=True)     #输出每个网络接口的IO信息

其他信息:

psutil.users()      #返回当前登陆系统的用户信息

psutil.boot_time()      #获取开机时间,以Linux时间格式显示

datetime.datetime.fromtimestamp(psutil.boot_time()).strftime("%Y-%m-%d %H:%M:%S")     

‘2018-01-15 15:24:26‘               #转换成自然时间格式

3.系统进程管理方法

进程信息:

psutil.pids()        #列出所有进程的PID

p=psutil.Process(#)      #实例化一个对象,参数为一进程的PID

p.name()                 #进程名称

p.exe()         #进程bin路径

p.status()        #进程状态

p.cwd()            #进程工作目录绝对路径

p.create_time()        #创建时间,时间戳格式

p.uids()          #进程uid信息

p.gids()           #进程gid信息

p.cpu_time()            #进程CPU时间信息

p.cpu_affinity()       #进程CPU亲和度

p.memory_percent()      #进程内存利用率

p.memory_info()       #进程内存rss,vms信息

p.io_counters()             #进程IO信息

p.connections()         #打开进程Socket的namedutples列表

p.num_threads()     #进程打开的线程数

popen类使用

popen类的作用是获取用户启动的应用程序进程信息,以便跟踪进程的运行状态

import psutil

from subprocess import PIPE

p = psutil.Popen(["/usr/bin/python","-c","print('hello')"],stdout=PIPE)

p.name()

p.communicate()

p.cpu_times()     #进程运行的CPU时间

参见:

https://github.com/giampaolo/psutil

http://psutil.readthedocs.org/en/latest/

二、文件与目录差异对比方法—–filecmp模块

单文件对比

采用filecmp.cmp(f1,f2[,shallow])方法,比较文件名名为f1和f2的文件,相同返回True,不相同返回False,shallow默认为True,意思是只根据os.stat()方法返回的文件基本信息进行对比,比如最后访问时间、修改时间、状态改变时间等,会忽略文件内容的对比。当shallow为False时,则os.stat()与文件内容同时进行校验。

示例:比较单文件的差异。

>>> filecmp.cmp("/home/test/filecmp/f1","/home/test/filecmp/f3") 
True

>>> filecmp.cmp("/home/test/filecmp/f1","/home/test/filecmp/f2") 
False

多文件对比

采用filecmp.cmpfiles(dir1,dir2,common[,shallow])方法,对比dir1与dir2目录给定的文件清单。该方法返回文件名的三个列表,分别为匹配、不匹配、错误。匹配为包含匹配的文件的列表,不匹配反之,错误列表包括了目录不存在文件、不具备读权限或其他原因导致的不能比较的文件清单。

示例:dir1与dir2目录中指定文件清单对比。

 >>>filecmp.cmpfiles("/home/test/filecmp/dir1","/home/test/filecmp/dir2",['f1','f2','f3','f4','f5']) 

(['f1', 'f2'], ['f3'], ['f4', 'f5'])

目录对比

通过dircmp(a,b[,ignore[,hide]])类创建一个目录比较对象,其中a和b是参加比较的目录名。ignore代表文件名忽略的列表,并默认为[‘RCS’,’CVS’,’tags’];hide代表隐藏的列表,默认为[os.curdir,os.pardir]。dircmp类可以获得目录比较的详细信息,如只有在a目录中包括的文件、a与b都存在的子目录、匹配的文件等,同时支持递归。

dircmp提供了三个输出报告的方法:

·report(),比较当前指定目录中的内容;

·report_partial_closure(),比较当前指定目录及第一级子目录中的内容;

·report_full_closure(),递归比较所有指定目录的内容。

为输出更加详细的比较结果,dircmp类还提供了以下属性:

·left,左目录,如类定义中的a;

·right,右目录,如类定义中的b;

·left_list,左目录中的文件及目录列表;

·right_list,右目录中的文件及目录列表;

·common,两边目录共同存在的文件或目录;

·left_only,只在左目录中的文件或目录;

·right_only,只在右目录中的文件或目录;

·common_dirs,两边目录都存在的子目录;

·common_files,两边目录都存在的子文件;

·common_funny,两边目录都存在的子目录(不同os.stat()记录的错误);

·same_files,匹配相同的文件;

·diff_files,不匹配的文件;

·funny_files,两边目录中都存在,但无法比较的文件;

·subdirs,将common_dirs目录名映射到新的dircmp对象,格式为字典类型。
示例:对比dir1与dir2的目录差异。通过调用dircmp()方法实现目录差异对比功能,同时输出目录对比对象所有属性信息。
/home/test/filecmp/simple1.py
 import filecmp 

 a="/home/test/filecmp/dir1" #定义左目录

 b="/home/test/filecmp/dir2" #定义右目录 

  dirobj=filecmp.dircmp(a,b,['test.py']) #目录比较,忽略test.py文件 

 dirobj.report() 

 dirobj.report_partial_closure() 

 dirobj.report_full_closure() 

 print "left_list:"+ str(dirobj.left_list)

 print "right_list:"+ str(dirobj.right_list)

 print "common:"+ str(dirobj.common)

 print "left_only:"+ str(dirobj.left_only) 

 print "right_only:"+ str(dirobj.right_only)

 print "common_dirs:"+ str(dirobj.common_dirs)

 print "common_files:"+ str(dirobj.common_files)

 print "common_funny:"+ str(dirobj.common_funny)

 print "same_file:"+ str(dirobj.same_files)

 print "diff_files:"+ str(dirobj.diff_files) 

 print "funny_files:"+ str(dirobj.funny_files)

三、探测Web服务质量方法—–pycurl模块

pycurl(http://pycurl.sourceforge.net)是一个用C语言写的libcurl Python实现,功能非常强大,支持的操作协议有FTP、HTTP、HTTPS、TELNET等,可以理解成Linux下curl命令功能的Python封装,简单易用。本节通过调用pycurl提供的方法,实现探测Web服务质量的情况,比如响应的HTTP状态码、请求延时、HTTP头信息、下载速度等,利用这些信息可以定位服务响应慢的具体环节。

1.安装

 (要求curl-config包支持)

# wget http://curl.haxx.se/download/curl-7.36.0.tar.gz 

# tar -zxvf curl-7.36.0.tar.gz # cd curl-7.36.0 

# ./configure

# make && make install

# export LD_LIBRARY_PATH=/usr/local/lib 

# wget https://pypi.python.org/packages/source/p/pycurl/pycurl-7.19.3.1.tar.gz --no-check-certificate 

# tar -zxvf pycurl-7.19.3.1.tar.gz 

# cd pycurl-7.19.3.1 

# python setup.py install --curl-config=/usr/local/bin/curl-config 

校验安装结果如下:

>>> import pycurl

>>> pycurl.version 

'PycURL/7.19.3.1 libcurl/7.36.0 OpenSSL/1.0.1e zlib/1.2.3' 2.4.1

2.模块常用方法说明

pycurl.Curl()类实现创建一个libcurl包的Curl句柄对象,无参数。更多关于libcurl包的介绍见http://curl.haxx.se/libcurl/c/libcurl-tutorial.html。下面介绍Curl对象几个常用的方法。

·close()方法,对应libcurl包中的curl_easy_cleanup方法,无参数,实现关闭、回收Curl对象。

·perform()方法,对应libcurl包中的curl_easy_perform方法,无参数,实现Curl对象请求的提交。

·setopt(option,value)方法,对应libcurl包中的curl_easy_setopt方法,参数option是通过libcurl的常量来指定的,参数value的值会依赖option,可以是一个字符串、整型、长整型、文件对象、列表或函数等。下面列举常用的常量列表:

c = pycurl.Curl() #创建一个curl对象 c.setopt(pycurl.CONNECTTIMEOUT, 5) #连接的等待时间,设置为0则不等待 

c.setopt(pycurl.TIMEOUT, 5) #请求超时时间 c.setopt(pycurl.NOPROGRESS, 0) #是否屏蔽下载进度条,非0则屏蔽 c.setopt(pycurl.MAXREDIRS, 5) #指定HTTP重定向的最大数

 c.setopt(pycurl.FORBID_REUSE, 1) #完成交互后强制断开连接,不重用 

c.setopt(pycurl.FRESH_CONNECT,1) #强制获取新的连接,即替代缓存中的连接 

c.setopt(pycurl.DNS_CACHE_TIMEOUT,60) #设置保存DNS信息的时间,默认为120秒 c.setopt(pycurl.URL,"http://www.baidu.com") #指定请求的URL

 c.setopt(pycurl.USERAGENT,"Mozilla/5.2 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50324)") #配置请求HTTP头的User-Agent 

c.setopt(pycurl.HEADERFUNCTION, getheader) #将返回的HTTP HEADER定向到回调函数getheader 

c.setopt(pycurl.WRITEFUNCTION, getbody) #将返回的内容定向到回调函数getbody 

c.setopt(pycurl.WRITEHEADER, fileobj) #将返回的HTTP HEADER定向到fileobj文件对象 

c.setopt(pycurl.WRITEDATA, fileobj) #将返回的HTML内容定向到fileobj文件对象 

·getinfo(option)方法,对应libcurl包中的curl_easy_getinfo方法,参数option是通过libcurl的常量来指定的。下面列举常用的常量列表: 

c = pycurl.Curl() #创建一个curl对象 

c.getinfo(pycurl.HTTP_CODE) #返回的HTTP状态码 

c.getinfo(pycurl.TOTAL_TIME) #传输结束所消耗的总时间 

c.getinfo(pycurl.NAMELOOKUP_TIME) #DNS解析所消耗的时间 

c.getinfo(pycurl.CONNECT_TIME) #建立连接所消耗的时间 

c.getinfo(pycurl.PRETRANSFER_TIME) #从建立连接到准备传输所消耗的时间 

c.getinfo(pycurl.STARTTRANSFER_TIME) #从建立连接到传输开始消耗的时间 

c.getinfo(pycurl.REDIRECT_TIME) #重定向所消耗的时间 

c.getinfo(pycurl.SIZE_UPLOAD) #上传数据包大小 

c.getinfo(pycurl.SIZE_DOWNLOAD) #下载数据包大小 

c.getinfo(pycurl.SPEED_DOWNLOAD) #平均下载速度 

c.getinfo(pycurl.SPEED_UPLOAD) #平均上传速度 

c.getinfo(pycurl.HEADER_SIZE) #HTTP头部大小

HTTP服务是最流行的互联网应用之一,服务质量的好坏关系到用户体验以及网站的运营服务水平,最常用的有两个标准,一为服务的可用性,比如是否处于正常提供服务状态,而不是出现404页面未找到或500页面错误等;二为服务的响应速度,比如静态类文件下载时间都控制在毫秒级,动态CGI为秒级。本示例使用pycurl的setopt与getinfo方法实现HTTP服务质量的探测,获取监控URL返回的HTTP状态码,HTTP状态码采用pycurl.HTTP_CODE常量得到,以及从HTTP请求到完成下载期间各环节的响应时间,通过pycurl.NAMELOOKUP_TIME、pycurl.CONNECT_TIME、pycurl.PRETRANSFER_TIME、pycurl.R等常量来实现。另外通过pycurl.WRITEHEADER、pycurl.WRITEDATA常量得到目标URL的HTTP响应头部及页面内容。实现源码如下:【/home/test/pycurl/simple1.py】

# -*- coding: utf-8 -*- 

import os,sys

import time 

import sys 

import pycurl URL="http://www.google.com.hk" #探测的目标URL
c = pycurl.Curl() #创建一个Curl对象 

c.setopt(pycurl.URL, URL) #定义请求的URL常量 

c.setopt(pycurl.CONNECTTIMEOUT, 5) #定义请求连接的等待时间 

c.setopt(pycurl.TIMEOUT, 5) #定义请求超时时间 

c.setopt(pycurl.NOPROGRESS, 1) #屏蔽下载进度条 

c.setopt(pycurl.FORBID_REUSE, 1) #完成交互后强制断开连接,不重用 

c.setopt(pycurl.MAXREDIRS, 1) #指定HTTP重定向的最大数为1 

c.setopt(pycurl.DNS_CACHE_TIMEOUT,30) #设置保存DNS信息的时间为30秒 

#创建一个文件对象,以”wb”方式打开,用来存储返回的http头部及页面内容 

indexfile = open(os.path.dirname(os.path.realpath(__file__))+"/content.txt", "wb")

c.setopt(pycurl.WRITEHEADER, indexfile) #将返回的HTTP HEADER定向到indexfile文件对象 

c.setopt(pycurl.WRITEDATA, indexfile) #将返回的HTML内容定向到indexfile文件对象 

try: 

  c.perform() #提交请求 

except Exception,e: 

  print "connecion error:"+str(e) 

  indexfile.close() 

  c.close() 

  sys.exit() 

NAMELOOKUP_TIME = c.getinfo(c.NAMELOOKUP_TIME) #获取DNS解析时间 

CONNECT_TIME = c.getinfo(c.CONNECT_TIME) #获取建立连接时间 

PRETRANSFER_TIME = c.getinfo(c.PRETRANSFER_TIME) #获取从建立连接到准备传输所消耗的时间 

STARTTRANSFER_TIME = c.getinfo(c.STARTTRANSFER_TIME) #获取从建立连接到传输开始消耗的时间 

TOTAL_TIME = c.getinfo(c.TOTAL_TIME) #获取传输的总时间

HTTP_CODE = c.getinfo(c.HTTP_CODE) #获取HTTP状态码 

SIZE_DOWNLOAD = c.getinfo(c.SIZE_DOWNLOAD) #获取下载数据包大小 

HEADER_SIZE = c.getinfo(c.HEADER_SIZE) #获取HTTP头部大小

SPEED_DOWNLOAD=c.getinfo(c.SPEED_DOWNLOAD) #获取平均下载速度 

#打印输出相关数据 

print "HTTP状态码:%s" %(HTTP_CODE) 

print "DNS解析时间:%.2f ms"%(NAMELOOKUP_TIME*1000) 

print "建立连接时间:%.2f ms" %(CONNECT_TIME*1000) 

print "准备传输时间:%.2f ms" %(PRETRANSFER_TIME*1000) 

print "传输开始时间:%.2f ms" %(STARTTRANSFER_TIME*1000) 

print "传输结束总时间:%.2f ms" %(TOTAL_TIME*1000) 

print "下载数据包大小:%d bytes/s" %(SIZE_DOWNLOAD) 

print "HTTP头部大小:%d byte" %(HEADER_SIZE) 

print "平均下载速度:%d bytes/s" %(SPEED_DOWNLOAD) #关闭文件及Curl对象 

indexfile.close() 

c.close()

pycurl模块的常用类与方法说明参考官网http://pycurl.sourceforge.net/doc/index.html。

原创文章,作者:nene,如若转载,请注明出处:/91122

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

400-080-6560

在线咨询:点击这里给我发消息

邮件:1660809109@qq.com

工作时间:周一至周五,9:30-18:30,节假日同时也值班

友情链接:万达娱乐开户  万达娱乐登录  万达娱乐平台  万达注册  万达娱乐招商QQ  万达主管QQ  万达娱乐直属  万达主管QQ  万达娱乐开户  万达直属QQ