郑州经纬网络做网站吗,wordpress导航页美观,免费看看视频用什么软件好,辽宁省城乡建设规划院网站起因
我的深度学习的所有进程突然被killed#xff0c;我以为是检修#xff0c;后面发现好像简单的python代码可以正常运行。但是我的训练进程一启动就会被killed 第一时间没有用htop查看cpu#xff0c;用top看着挺正常的#xff0c;但是后面看htop#xff0c;全是绿的我以为是检修后面发现好像简单的python代码可以正常运行。但是我的训练进程一启动就会被killed 第一时间没有用htop查看cpu用top看着挺正常的但是后面看htop全是绿的但是看不到那个进程占用了cpu然后我怀疑是我的深度学习进程异常关闭是不是产生了僵尸进程或者孤儿进程然后把我的用户下的所有进程全部关闭了依然无法解决。
排查
sysdig -c topprocs_cpu #查看cpu占用情况好家伙终于被我发现了这个nettools删不掉会一直重启果然是中病毒了 这个时候但凡启动一个大点的应用都会被自动killed所有我这里想使用杀毒软件已经晚了也会自动被killed
IP排查
netstat -napt把几个可疑的异常流量拧出来 不过这里我尝试把他们禁止掉但又会自动生成新的连接所有最重要的应该是找到木马程序和服务 sudo iptables -A INPUT -s 185.18.222.159 -j DROPsudo ss -K src 185.18.222.159本地连接日志查询
然后我就想看看是不是最近异常有异地的登录记录
last查看最近登陆情况 以及检查是不是有新增的用户
cat /etc/passwd不过都没有收获
然后离谱的来了当我查询最近的失败登录日志的时候发现密密麻麻从上个月就开始的暴力破解
sudo cat /var/log/auth.log.0 | grep Failed如果顺着这个ip找到了最近的一次的情况,好好好这个用户密码太简单被暴力试出来来了
sudo tail -n 5000 /var/log/auth.log我采取的措施
我再查询日志分析这个ip好像是学校内部的ip 应该是某个学校的内部设备被黑了 一直换着ip来尝试 今天早上突然试成功了 然后9-30开始到9-43 启动root权限 连接了13分钟 。 首先就是赶紧把密码给换了然后就是想把test用户所有的进程删掉不过没用再排查test用户目录下的文件不过没什么收获操作日志应该都被清楚了。
sudo crontab -u test –e # 查看是否有定时任务
* * * * * /var/tmp/.cache/upd /dev/null 21
* * * * * /tmp/.cache/go.sh然后再从已经启动的服务里面查看是否有可疑的服务
systemctl list-unit-files --stateenabled我发现有个服务启动了两次而且命名很奇怪 NPvm2nhT.service enabled enabled NPvm2nhT.service enabled enabled
追溯服务源头
systemctl status NPvm2nhT.service #详细信息
sudo systemctl cat NPvm2nhT.service #查路径
systemctl is-active NPvm2nhT.service # 是否还在执行sudo systemctl stop NPvm2nhT.service #停止服务
sudo systemctl disable NPvm2nhT.service #防止自动重启
sudo rm -f /lib/systemd/system/NPvm2nhT.service #删除服务文件sudo systemctl daemon-reload #重新加载配置文件下面是这个服务的信息就是木马服务没跑了 /lib/systemd/system/NPvm2nhT.service [Unit] Descriptionservice Afternetwork.target
[Service] Typesimple ExecStart/bin/XoGefczg #恶意软件位置 RemainAfterExityes Restartalways #总是自动启动 RestartSec60s #每60秒重启
[Install] WantedBymulti-user.target
查看查看系统级别的 Cron 任务
sudo ls /etc/cron.d/7IEutd27 anacron e2scrub_all popularity-contest sysstat sudo cat /etc/cron.d/7IEutd27*/1 * * * * root /bin/XoGefczg 1 1
sudo rm -f /etc/cron.d/7IEutd27 #删除cron任务sudo rm -f /bin/XoGefczg #删除可执行文件
做了上面的操作目前暂时把cpu解放了后续就安装杀毒软件对全盘进行查杀
sudo apt-get update
sudo apt-get install clamav clamav-daemon chkrootkit rkhunter -y
sudo freshclam
sudo clamscan -r / --bell -i
sudo chkrootkit
sudo rkhunter --check
又发现了两个木马文件 目前来说经过去前面的操作cpu没有再出现问题但我感觉可能还有残余的东西没有清除干净后面再慢慢排查。
