Skip to content

自动化脚本获取CDH Zabbix网站上主机运行状态,将内容保存到文件中,并将其发送邮件到指定邮箱,或者通过配置上传文件到指定的ftp服务器中。

Notifications You must be signed in to change notification settings

seancheng33/STBigdataSpider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

自动化脚本获取CDH Zabbix网站上主机运行状态,将内容保存到文件中,并将其发送邮件到指定邮箱,或者通过配置上传文件到指定的ftp服务器中。

  • hadoop:获取hadoop平台CDH的主机运行状态和告警状态
  • ftp:基本的ftp客户端功能,可以连接ftp,上传、下载配置文件中指定的文件夹中的内容,并在文件存在重名等情况下,提示如何操作
  • util:持久化一些数据的工具,还有文件读写操作的工具
  • send_mail:发送邮件,添加配置文件中的文件为邮件附件,对附件内容进行比对,判断是否需要发信,记录发信的内容,对两次发信的内容进行比对, 记录发信次数,记录发信间隔。
  • zabbix:获取zabbix平台的各主机运行数据并写入文件,问题告警的数据,可配置告警级别,达到或高于该级别的告警信息才会被写入到指定的文件中

本版本为window版

开发运行环境:

python-3.6.2

由于到目前为止,尚没有用到一些新的特性,原则上是应用可以运行在3.X版本的python运行环境中,建议尽量在3.5.x及以上的运行环境,重构过程中可能会加入新特性

所需用到的插件:

beautifulsoup4==4.6.0

bs4==0.0.1

configparser==3.5.0

lxml==4.1.0

PySocks==1.6.7

selenium==3.6.0

可用使用下面的命令批量安装模块:

pip install -r requests.txt

config.ini配置说明

修改config.ini.backup为config.ini,然后请按实际部署的情况修改config.ini中的以下内容,详情请看manual.txt

更新历史

  • 2017-12-28:zabbix获取信息功能模块完成;
  • 2017-12-19:增加了对附件内容”存在隐患“的检索和比对的函数; 新增临时文件Sent_XXXXX用于存放上次发信时的附件内容; 增加了一个是否重置count计数的布尔值; 修改了原来count文件第二天重置计数后第一次发信提示时间间隔未到的BUG
  • 2017-12-19:发送邮件模块添加新功能,status.txt文件的变化,作为能否发信的一个判断条件。
  • 2017-12-12:完成ftp的基础上传下载功能及日志保存详细操作信息
  • 2017-12-07:重新组织代码文件的路径,将功能模块化,在对应名字的文件夹中
  • 2017-12-05:修改添加计算磁盘空间和物理内存的总数,计算总已用磁盘空间和总已用物理内存的总数,单位为GB
  • 2017-12-04:完成hadoop的CDH的首页和所有主机信息功能的获取
  • 2017-12-28:添加判断附件文件的最后修改时间,如果时间与文件lasttime中的时间相同, 表示文件未更新,不添加为附件,同时该文件内容不会被写入到正文中。

About

自动化脚本获取CDH Zabbix网站上主机运行状态,将内容保存到文件中,并将其发送邮件到指定邮箱,或者通过配置上传文件到指定的ftp服务器中。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages