2018/03/09

记Tiptop ERP服务器被植入恶意程序

昨天早上,有User反映Tiptop ERP程序运行缓慢,接连又有反馈说无法登录。具体提示为:
GDC端:DVM connection timed out.
Web端:Application DUA not found 
第一反映是去Terminal执行top命令,看系统的健康状况。数据把我吓一跳,用户空间占用CPU已达75%多,而其中有一个以root身份运行的名为xxm进程,CPU时间占用百分比为1199.3。这个进程也没见过啊,第一时间联系客服人员,被告知要请系统工程师(SE)确认,几乎马上被告知,被植入了恶意程序,如果要处理,需要另付4小时的工时费。没办法,那就赶紧吧,系统不能停摆啊……

与此同时,我自己也在摸索找到恶意程序。先用kill把进程杀掉,再用find -name去找xxm这个文件的位置(后来才知道在top界面按c就能看到),然后把它删除,没一会儿CPU负载又升起来了,xxm又来了,立即去看ctontab,果然是每30分钟从某个位置复制产生该文件,并运行。如此总算可以完全清除了。快4小时的时候,SE也告之说完全处理OK了,时间拿捏的真好。

而ERP不能登录,是因为负责分发License的程序flm运行不起来,在此期间TOPTEST也不能登录,是因为使用同一个License服务程序。其实上面的恶意进程清除后,重启服务器或运行flmprg –r就好了。后悔花了4小时的工时费。

后来,又参考了网上诸多资料,加上个人的一点经验,终于把幕后黑手的行踪找出来了,大年初一那天,幕后黑手通过VPN登入公司ERP主机,用的是root帐号,同时还用mstsc登入了CR服务器,这里留下了他的电脑名称,只可惜负责网络的同事没能找到VPN登录的日志,一条重要线索丢失。

结论:熟人作案,而且手段并不高明,留下很多痕迹。

教训:

  1. VPN不能常开,而且要保留足够长时间的日志;
  2. OS和Oracle的密码都不能直接告诉服务厂商,远程协助要有人值守。

没有评论: