详解python并发获取snmp信息及性能测试

python & snmp

用python获取snmp信息有多个现成的库可以使用，其中比较常用的是netsnmp和pysnmp两个库。网上有较多的关于两个库的例子。

本文重点在于如何并发的获取snmp的数据，即同时获取多台机器的snmp信息。

netsnmp

先说netsnmp。python的netsnmp，其实是来自于net-snmp包。

python通过一个c文件调用net-snmp的接口获取数据。

因此，在并发获取多台机器的时候，不能够使用协程获取。因为使用协程，在get数据的时候，协程会一直等待net-snmp接口返回数据，而不会像socket使用时那样在等待数据时把CPU切换给其他协程使用。从这点上来说，使用协程和串行获取没有区别。

那么如何解决并发获取的问题呢？可以使用线程，多线程获取(当然也可以使用多进程)。多个线程同时调用net-snmp的接口获取数据，然后cpu在多个线程之间不停切换。当一个线程获取一个结果后，可以继续调用接口获取下一个snmp数据。

这里我写了一个样例程序。首先把所有的host和oid做成任务放到队列里，然后启动多个线程，去执行获取任务。程序样例如下：

import threading
import time
import netsnmp
import Queue

start_time = time.time()
hosts = ["192.20.150.109", "192.20.150.110", "192.20.150.111", "192.20.150.112", "192.20.150.113", "192.20.150.114",
     "192.20.150.115", "192.20.150.116", "192.20.150.117", "192.20.150.118", "192.20.150.119", "192.20.150.120",
     "192.20.150.121", "192.20.80.148", "192.20.80.149", "192.20.96.59", "192.20.82.14", "192.20.82.15",
     "192.20.82.17", "192.20.82.19", "192.20.82.12", "192.20.80.139", "192.20.80.137", "192.20.80.136",
     "192.20.80.134", "192.20.80.133", "192.20.80.131", "192.20.80.130", "192.20.81.141", "192.20.81.140",
     "192.20.82.26", "192.20.82.28", "192.20.82.23", "192.20.82.21", "192.20.80.128", "192.20.80.127",
     "192.20.80.122", "192.20.81.159", "192.20.80.121", "192.20.80.124", "192.20.81.151", "192.20.80.118",
     "192.20.80.119", "192.20.80.113", "192.20.80.112", "192.20.80.116", "192.20.80.115", "192.20.78.62",
     "192.20.81.124", "192.20.81.125", "192.20.81.122", "192.20.81.121", "192.20.82.33", "192.20.82.31",
     "192.20.82.32", "192.20.82.30", "192.20.81.128", "192.20.82.39", "192.20.82.37", "192.20.82.35",
     "192.20.81.130", "192.20.80.200", "192.20.81.136", "192.20.81.137", "192.20.81.131", "192.20.81.133",
     "192.20.81.134", "192.20.82.43", "192.20.82.45", "192.20.82.41", "192.20.79.152", "192.20.79.155",
     "192.20.79.154", "192.25.76.235", "192.25.76.234", "192.25.76.233", "192.25.76.232", "192.25.76.231",
     "192.25.76.228", "192.25.20.96", "192.25.20.95", "192.25.20.94", "192.25.20.93", "192.24.163.14",
     "192.24.163.21", "192.24.163.29", "192.24.163.6", "192.18.136.22", "192.18.136.23", "192.24.193.2",
     "192.24.193.19", "192.24.193.18", "192.24.193.11", "192.20.157.132", "192.20.157.133", "192.24.212.232",
     "192.24.212.231", "192.24.212.230"]
oids = [".1.3.6.1.4.1.2025.11.9.0",".1.3.6.1.4.1.2025.11.10.0",".1.3.6.1.4.1.2025.11.11.0",".1.3.6.1.4.1.2025.10.1.3.1",
    ".1.3.6.1.4.1.2025.10.1.3.2",".1.3.6.1.4.1.2025.10.1.3.3",".1.3.6.1.4.1.2025.4.6.0",".1.3.6.1.4.1.2025.4.14.0",
    ".1.3.6.1.4.1.2025.4.15.0"]
myq = Queue.Queue()
rq = Queue.Queue()

#把host和oid组成任务
for host in hosts:
  for oid in oids:
    myq.put((host,oid))

def poll_one_host():
  while True:
    try:
      #死循环从队列中获取任务，直到队列任务为空
      host, oid = myq.get(block=False)
      session = netsnmp.Session(Version=2, DestHost=host, Community="cluster",Timeout=3000000,Retries=0)
      var_list = netsnmp.VarList()
      var_list.append(netsnmp.Varbind(oid))
      ret = session.get(var_list)
      rq.put((host, oid, ret, (time.time() - start_time)))
    except Queue.Empty:
      break

thread_arr = []

#开启多线程
num_thread = 50
for i in range(num_thread):
  t = threading.Thread(target=poll_one_host, kwargs={})
  t.setDaemon(True)
  t.start()
  thread_arr.append(t)

#等待任务执行完毕
for i in range(num_thread):
  thread_arr[i].join()

while True:
  try:
    info = rq.get(block=False)
    print info
  except Queue.Empty:
    print time.time() - start_time
    break

netsnmp除了支持get操作之外，还支持walk操作，即遍历某个oid。

但是walk使用的时候需要谨慎，以免导致高延时等问题，具体可以参见之前的一篇snmpwalk高延时问题分析的博客。

pysnmp

pysnmp是用python实现的一套snmp协议的库。其自身提供了对于异步的支持。

import time
import Queue
from pysnmp.hlapi.asyncore import *
t = time.time()
myq = Queue.Queue()

#回调函数。在有数据返回时触发
def cbFun(snmpEngine, sendRequestHandle, errorIndication, errorStatus, errorIndex, varBinds, cbCtx):
   myq.put((time.time()-t, varBinds))
hosts = ["192.20.150.109", "192.20.150.110", "192.20.150.111", "192.20.150.112", "192.20.150.113", "192.20.150.114",
     "192.20.150.115", "192.20.150.116", "192.20.150.117", "192.20.150.118", "192.20.150.119", "192.20.150.120",
     "192.20.150.121", "192.20.80.148", "192.20.80.149", "192.20.96.59", "192.20.82.14", "192.20.82.15",
     "192.20.82.17", "192.20.82.19", "192.20.82.12", "192.20.80.139", "192.20.80.137", "192.20.80.136",
     "192.20.80.134", "192.20.80.133", "192.20.80.131", "192.20.80.130", "192.20.81.141", "192.20.81.140",
     "192.20.82.26", "192.20.82.28", "192.20.82.23", "192.20.82.21", "192.20.80.128", "192.20.80.127",
     "192.20.80.122", "192.20.81.159", "192.20.80.121", "192.20.80.124", "192.20.81.151", "192.20.80.118",
     "192.20.80.119", "192.20.80.113", "192.20.80.112", "192.20.80.116", "192.20.80.115", "192.20.78.62",
     "192.20.81.124", "192.20.81.125", "192.20.81.122", "192.20.81.121", "192.20.82.33", "192.20.82.31",
     "192.20.82.32", "192.20.82.30", "192.20.81.128", "192.20.82.39", "192.20.82.37", "192.20.82.35",
     "192.20.81.130", "192.20.80.200", "192.20.81.136", "192.20.81.137", "192.20.81.131", "192.20.81.133",
     "192.20.81.134", "192.20.82.43", "192.20.82.45", "192.20.82.41", "192.20.79.152", "192.20.79.155",
     "192.20.79.154", "192.25.76.235", "192.25.76.234", "192.25.76.233", "192.25.76.232", "192.25.76.231",
     "192.25.76.228", "192.25.20.96", "192.25.20.95", "192.25.20.94", "192.25.20.93", "192.24.163.14",
     "192.24.163.21", "192.24.163.29", "192.24.163.6", "192.18.136.22", "192.18.136.23", "192.24.193.2",
     "192.24.193.19", "192.24.193.18", "192.24.193.11", "192.20.157.132", "192.20.157.133", "192.24.212.232",
     "192.24.212.231", "192.24.212.230"]

oids = [".1.3.6.1.4.1.2025.11.9.0",".1.3.6.1.4.1.2025.11.10.0",".1.3.6.1.4.1.2025.11.11.0",".1.3.6.1.4.1.2025.10.1.3.1",
    ".1.3.6.1.4.1.2025.10.1.3.2",".1.3.6.1.4.1.2025.10.1.3.3",".1.3.6.1.4.1.2025.4.6.0",".1.3.6.1.4.1.2025.4.14.0",
    ".1.3.6.1.4.1.2025.4.15.0"]
    
snmpEngine = SnmpEngine()

#添加任务
for oid in oids:
  for h in hosts:
    getCmd(snmpEngine,
      CommunityData('cluster'),
      UdpTransportTarget((h, 161), timeout=3, retries=0,),
      ContextData(),
      ObjectType(ObjectIdentity(oid)),
      cbFun=cbFun)
time1 = time.time() - t

#执行异步获取snmp
snmpEngine.transportDispatcher.runDispatcher()

#打印结果
while True:
  try:
    info = myq.get(block=False)
    print info
  except Queue.Empty:
    print time1
    print time.time() - t
    break

pysnmp本身只支持最基础的get和getnext命令，因此如果想使用walk，需要自己进行实现。

性能测试

在同一个环境下，对两者进行了性能测试。两者对198个host，10个oid进行采集。

测试组	耗时(sec)
netsnmp(20线程)	6.252
netsnmp(50线程)	3.269
netsnmp(200线程)	3.265
pysnmp	4.812

可以看到netsnmp的采集速度跟线程数有关。当线程数增大到一定程度，采集时间不再缩短。因为开辟线程同样会消耗时间。而已有的线程已经足够处理。

pysnmp性能较之略差一下。详细分析pysnmp在添加任务(执行getCmd时)消耗了约1.2s，之后的采集约消耗3.3秒。

在增加了oid数，在进行实验。host仍然是198个，oid是42个。

测试组	耗时(sec)
netsnmp(20线程)	30.935
netsnmp(50线程)	12.914
netsnmp(200线程)	4.044
pysnmp	11.043

可以看到差距被进一步拉大。在线程足够多的情况下，netsnmp的效率要明显强于pysnmp。

因为二者都支持可以并行采集多个host，从易用性来说，netsnmp更为简单一些，且netsnmp支持walk功能。本文更加推荐netsnmp。

安装netsnmp需要安装net-snmp。如果centos，则使用yum会较为方便。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

# python  # snmp  # snmp模块  # 编程  # Python如何给你的程序做性能测试  # 基于python locust库实现性能测试  # 通过python调用adb命令对App进行性能测试方式  # Python内置数据类型list各方法的性能测试过程解析  # 如何使用Python标准库进行性能测试  # Python字符串通过''+''和join函数拼接新字符串的性能测试比较  # Python 3.6 性能测试框架Locust安装及使用方法(详解)  # python常用web框架简单性能测试结果分享(包含django、flask、bottle、torn  # 在Python中使用异步Socket编程性能测试  # python 字典(dict)遍历的四种方法性能测试报告  # python 写一个性能测试工具（一）  # 多个  # 可以使用  # 可以看到  # 多线程  # 多台  # 性能测试  # 的是  # 样例  # 遍历  # 而不  # 较多  # 写了  # 来自于  # 仍然是  # 不能够  # 如何解决  # 在等待  # 会像  # 回调  # 先说 

相关文章： 网站制作免费,什么网站能看正片电影？  正规网站制作公司有哪些,目前国内哪家网页网站制作设计公司比较专业靠谱？口碑好？  建站之星如何实现五合一智能建站与营销推广？  深圳网站制作培训,深圳哪些招聘网站比较好？  电商网站制作公司有哪些,1688网是什么意思？  网站制作企业,网站的banner和导航栏是指什么？  标准网站视频模板制作软件,现在有哪个网站的视频编辑素材最齐全的，背景音乐、音效等？  如何在云主机上快速搭建多站点网站？  javascript中对象的定义、使用以及对象和原型链操作小结  如何选择最佳自助建站系统？快速指南解析优劣  建站之星微信建站一键生成小程序+多端营销系统  公司网站制作价格怎么算,公司办个官网需要多少钱？  如何在IIS服务器上快速部署高效网站？  C#怎么使用委托和事件 C# delegate与event编程方法  成都品牌网站制作公司,成都营业执照年报网上怎么办理？  免费公司网站制作软件,如何申请免费主页空间做自己的网站？  如何用PHP快速搭建高效网站？分步指南  电商网站制作价格怎么算,网上拍卖流程以及规则？  建站之星如何快速更换网站模板？  如何在橙子建站上传落地页？操作指南详解  如何在万网主机上快速搭建网站？  深圳网站制作费用多少钱,读秀，深圳文献港这样的网站很多只提供网上试读，但有些人只要提供试读的文章就能全篇下载，这个是怎么弄的？  免费制作海报的网站,哪位做平面的朋友告诉我用什么软件做海报比较好?ps还是cd还是ai这几个软件我都会些我是做网页的？  C++如何将C风格字符串（char*）转换为std::string？（代码示例）  如何在云主机上快速搭建网站？  清单制作人网站有哪些,近日“兴风作浪的姑奶奶”引起很多人的关注这是什么事情？  图册素材网站设计制作软件,图册的导出方式有几种？  建站之星各版本价格是多少？  北京网页设计制作网站有哪些,继续教育自动播放怎么设置？  详解ASP.NET 生成二维码实例（采用ThoughtWorks.QRCode和QrCode.Net两种方式）  建站之星代理商如何保障技术支持与售后服务？  厦门模型网站设计制作公司,厦门航空飞机模型掉色怎么办？  网站设计制作书签怎么做,怎样将网页添加到书签/主页书签/桌面？  如何用狗爹虚拟主机快速搭建网站？  ,网页ppt怎么弄成自己的ppt？  C++如何编写函数模板？（泛型编程入门）  如何用美橙互联一键搭建多站合一网站？  用v-html解决Vue.js渲染中html标签不被解析的问题  威客平台建站流程解析：高效搭建教程与设计优化方案  ,巨量百应是干嘛的？  广东专业制作网站有哪些,广东省能源集团有限公司官网？  制作表格网站有哪些,线上表格怎么弄？  如何选择高效稳定的ISP建站解决方案？  装修招标网站设计制作流程,装修招标流程？  建站之星后台管理：高效配置与模板优化提升用户体验  音响网站制作视频教程,隆霸音响官方网站？  魔毅自助建站系统：模板定制与SEO优化一键生成指南  如何在IIS中新建站点并解决端口绑定冲突？  建站之星如何通过成品分离优化网站效率？  如何制作公司的网站链接,公司想做一个网站，一般需要花多少钱？