Smokeping踩坑记

Smokeping 一个很好用的网络延迟监测项目,架设起来并不容易。

某天群里大佬说网页502了,淡定的restart smokeping。不一会又502了,又重复restart,再次502,发现事情根本没那么简单。

查log查了半天什么都没发现,还是莫名其妙502,仔细观察nginx的日志,发现502之后是有拒绝链接的,那么找到拒绝链接之前的一个操作,果然发现了,某个谷歌bot在访问一个不存在的页面导致崩了服,于是觉得禁了bot就好了。

nginx一波操作,屏蔽bot,完成!安稳了。

安稳运行了十几天,突然又开始502,照例查看,发现还是不存在的页面,但不是bot触发,这下子不能这样,治标不治本啊,于是咱去寻找进程守护,安排,boom?

原来是supervisor不支持daemon,一时陷入了僵局。

最后在多方查找log发现有一行报错,指向了一个pm文件,定位之后发现是一句die “xxxxxxx”,上面是if not found,于是改为print,问题解决。

稳定运行十几天后又翻车了….再次按照原思路寻找,却什么都没找到,没notfound,但是发现了一个奇怪的现象,某域名非法解析到了这个站点,结果只要一访问那个域名,smokeping就会悄无声息的退出,无奈开始设置nginx防恶意解析。

但是进展并不顺利,无限失败,无限CONNECT_CLOSED,百度无果,在谷歌日文站搜索到了解决办法:Nginx 多SSL站点的默认站点需要配置自签名证书….于是果断的添加hosts 127.0.0.1 www.baidu.com 后按照正确解决方法成功解决问题了!

随后只稳定运行了5秒,怎么回事???

仔细观察资源指示,内存0.19/0.97突然飙升到0.96/0.97后回落,推测内存不足。

增加4GSWAP正常。原因:服务器宕机过久,slave突然发数据一下子服务器处理不过来了…

但愿不要再有bug了….(愿世界上再也没有bug,不只是程序员,秃驴运维也一样…

 

0
打赏
135
0
吐槽

- 评论

我要吐槽