百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

Linux 系统挂起,利用SysRq诊断排除故障

nanshan 2024-10-15 11:31 35 浏览 0 评论

无论运行linux服务器,还是桌面,总有因为不明原因造成系统挂起。虽然挂起了,各种服务无法响应,但是linux的内核依然在运行,只要仍然可以响应键盘的按键中断请求,就有一线生机。我们可以用SrsRq,来抢救一下。



SysRq 其实是一系列按键的组合。它是由linux内核解释的,可以越过一些限制执行底层操作。因此,可以在系统挂起的时候(kernel panic 和 kernel freeze 除外),完成一些诊断和排除故障的操作。

SysRq 使用方式

SysRq,一般情况下,是 Alt + “Prt Scr" + <command key> 的组合。通过恰当的运用SysRq,可以保证数据安全的情况下重启,收集挂机状态时内存、CPU和进程状态等信息,还可能通过关闭一些进程恢复系统运行。

在一些键盘上,不能同时处理这么多的按键。你可以先按住 Alt 键,再按下 Prt Scr 键,松开弹起 Prt Scr 键,按下 <command key>,释放所有按键。当然,这完全依赖你的运气。

在 Proc 文件系统里,还有一个地方可以起到 SysRq 同样的效果。 可以将 <command key> 直接写入 /proc/sysrq-trigger 。这种方法在所有架构上通用。比如

echo  b > /proc/sysrq-trigger			#等效于 alt + prt + b

SysRq 配置

SysRq需要内核的支持,如要启用该功能,要确保内核已经加入了 CONFIG_MAGIC_SYSRQ 支持。现今的 Linux 发行版,大多已经加入了该功能的支持。如果要关闭,可以直接修改发行版 boot 目录下的 config-xxx 文件,重新编译内核即可。

grep "CONFIG_MAGIC_SYSRQ" /boot/config-`uname -r`

CONFIG_MAGIC_SYSRQ=y

也可以通过设置 /proc/sys/kernel/sysrq 的值来打开关闭该功能,或者实现功能的定制。

如要重启后保存,可以把 kernel.sysrq = values 写入 /etc/sysctl.conf 中。该 values 值可以是:

0 :完全关闭 SysRq 功能。

1 : 启动 SysRq 功能,没有阉割。

>1 的其他值: 组合开启下列不同的功能。

  • 2 启用控制终端日志级别,可以自定义显示不同的信息。
  • 4 启用键盘控制
  • 8 启用进程的调试信息输出等
  • 16 启动同步命令
  • 32 启动重新挂载为只读
  • 64 启动进程信号(终止、杀死、溢出杀死)
  • 128 允许重启和关机
  • 256 控制实时任务的优先级控制。

SysRq 键位介绍

Magic SysRq 使用的键位介绍,实际使用不区分大小写。

0-9 设置 console 日志级别,不同级别显示内容不同。

B 直接重启系统,不会同步磁盘缓存等。

C 故障转储。

E 向除 init 之外的所有进程发送 SIGTERM。安全停止除 init 之外的当前所有进程。

F 调用内存不足时结束器(Out Of Memory Killer),会终止一个消耗掉所有可用内存的进程。

H 在终端上显示 SysRq 组合键的帮助。

I 向除 init 之外的所有进程发送 SIGKILL,除 init 之外的所有进程被杀死,进程中的数据可能会丢失。

K 杀死当前终端下的所有进程。

L 向包括 init 在内的所有进程发送 SIGKILL。包括 init 在内的每个进程都会被结束,接下来也将无法使用 SysRq 组合键,你只有冷重启。

M 将内存信息输出到控制台。

N 降低实时任务的优先级

O 通过 ACPI 或在旧系统中通过 APM 关闭系统。

P 将当前的寄存器(registers)和标记(flags)输出到控制台。

Q 将所有定时器(timers)信息输出到控制台。

R 把键盘模式设置为 XLATE。

SysRq 查看信息

alt + SysRq + { M, P, T, W}

这些操作可以记录下当前系统的内存使用情况,当前 CPU 寄存器的状态,进程运行状态,以及所有 CPU 及寄存器的状态。通过这些信息,可以对挂起的原因做粗略的分析。

alt + SysRq + C

在一些特殊情况下,我们可能需要一份完整的 crashdump 。

系统恢复

根据系统不同的状态来尝试一些恢复。

E - I 组合恢复:过于暴力,并不比reboot强多少。系统服务多复杂,可能存在没有恢复的服务。

K 和 F 可以尝试一种其中,或者组合。

K - 结束与当前控制台相关的全部进程。如果X窗口某些程序内存或其他异常引起的挂起,可是尝试。

F - 会终止一个消耗掉所有可用内存的进程。OOM Killer 将根据各进程的内存处理情况选取最合适的“凶手”进程,并向其发送 SIGKILL 信号,中止其运行。 针对X桌面的程序引起的系统挂起,一般都为非关键应用。

N - 这对于由实时任务消耗 CPU 引起的系统挂起会起到立竿见影的作用。

安全重启

如果以上办法恢复系统,没有效果,或者得不偿失,那我们可以尝试安全的重启或者关机。

alt + SysRq + { R,E,I,S,U,B}

按下 Alt + SysRq,再逐次敲击 R E I S U B ,完成重启。每次看到提示 complete 字样,在进行下一个命令。测试的时候都没问题,关键的时候,你可能看不到任何提示,可以根据系统负载,等待10秒或更多时间,在敲击下一个命令。

安全关机,就需要把最后一个命令,替换为 O 。

安全问题

当你运行电脑离开一段时间,其他人可以不管有没有权限,直接用 SysRq 重启电脑。在开机 Grub 中修改启动参数,进入单用户模式。从而让你的密码成为摆设。

虽然这种情况一点也不常见,但也的确是一条攻击的途径。

相关推荐

0722-6.2.0-如何在RedHat7.2使用rpm安装CDH(无CM)

文档编写目的在前面的文档中,介绍了在有CM和无CM两种情况下使用rpm方式安装CDH5.10.0,本文档将介绍如何在无CM的情况下使用rpm方式安装CDH6.2.0,与之前安装C5进行对比。环境介绍:...

ARM64 平台基于 openEuler + iSula 环境部署 Kubernetes

为什么要在arm64平台上部署Kubernetes,而且还是鲲鹏920的架构。说来话长。。。此处省略5000字。介绍下系统信息;o架构:鲲鹏920(Kunpeng920)oOS:ope...

生产环境starrocks 3.1存算一体集群部署

集群规划FE:节点主要负责元数据管理、客户端连接管理、查询计划和查询调度。>3节点。BE:节点负责数据存储和SQL执行。>3节点。CN:无存储功能能的BE。环境准备CPU检查JDK...

在CentOS上添加swap虚拟内存并设置优先级

现如今很多云服务器都会自己配置好虚拟内存,当然也有很多没有配置虚拟内存的,虚拟内存可以让我们的低配服务器使用更多的内存,可以减少很多硬件成本,比如我们运行很多服务的时候,内存常常会满,当配置了虚拟内存...

国产深度(deepin)操作系统优化指南

1.升级内核随着deepin版本的更新,会自动升级系统内核,但是我们依旧可以通过命令行手动升级内核,以获取更好的性能和更多的硬件支持。具体操作:-添加PPAs使用以下命令添加PPAs:```...

postgresql-15.4 多节点主从(读写分离)

1、下载软件[root@TX-CN-PostgreSQL01-252software]#wgethttps://ftp.postgresql.org/pub/source/v15.4/postg...

Docker 容器 Java 服务内存与 GC 优化实施方案

一、设置Docker容器内存限制(生产环境建议)1.查看宿主机可用内存bashfree-h#示例输出(假设宿主机剩余16GB可用内存)#Mem:64G...

虚拟内存设置、解决linux内存不够问题

虚拟内存设置(解决linux内存不够情况)背景介绍  Memory指机器物理内存,读写速度低于CPU一个量级,但是高于磁盘不止一个量级。所以,程序和数据如果在内存的话,会有非常快的读写速度。但是,内存...

Elasticsearch性能调优(5):服务器配置选择

在选择elasticsearch服务器时,要尽可能地选择与当前业务量相匹配的服务器。如果服务器配置太低,则意味着需要更多的节点来满足需求,一个集群的节点太多时会增加集群管理的成本。如果服务器配置太高,...

Es如何落地

一、配置准备节点类型CPU内存硬盘网络机器数操作系统data节点16C64G2000G本地SSD所有es同一可用区3(ecs)Centos7master节点2C8G200G云SSD所有es同一可用区...

针对Linux内存管理知识学习总结

现在的服务器大部分都是运行在Linux上面的,所以,作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道:地址映射内存管理的方式缺页异常先来看一些基本的知识,在进程看来,内存分为内...

MySQL进阶之性能优化

概述MySQL的性能优化,包括了服务器硬件优化、操作系统的优化、MySQL数据库配置优化、数据库表设计的优化、SQL语句优化等5个方面的优化。在进行优化之前,需要先掌握性能分析的思路和方法,找出问题,...

Linux Cgroups(Control Groups)原理

LinuxCgroups(ControlGroups)是内核提供的资源分配、限制和监控机制,通过层级化进程分组实现资源的精细化控制。以下从核心原理、操作示例和版本演进三方面详细分析:一、核心原理与...

linux 常用性能优化参数及理解

1.优化内核相关参数配置文件/etc/sysctl.conf配置方法直接将参数添加进文件每条一行.sysctl-a可以查看默认配置sysctl-p执行并检测是否有错误例如设置错了参数:[roo...

如何在 Linux 中使用 Sysctl 命令?

sysctl是一个用于配置和查询Linux内核参数的命令行工具。它通过与/proc/sys虚拟文件系统交互,允许用户在运行时动态修改内核参数。这些参数控制着系统的各种行为,包括网络设置、文件...

取消回复欢迎 发表评论: