百度360必应搜狗淘宝本站头条
tomcat 乱码无法与服务器建立安全连接是什么意思sysv-rc-confdocker映射容器目录到宿主机internet explorer 增强的安全配置已启用
当前位置：网站首页 > 技术文章 > 正文

Too many open files解决方法（error:too many open files）

nanshan 2024-11-17 00:16 26 浏览 0 评论

问题

早上到公司发现负责的一个项目打不开了，因为其他项目都依赖于这个模块，所有导致所有项目都无法运行。赶紧排查问题。

首先看了日志，发现报错信息为Too many open files

然后查看ulimit命令查看文件配置，如下

这里发现默认每个进程打开的文件最大个数是1024。

接着我取项目的进程id查看项目打开文件数目，如下


发现一共打开了4137个文件资源，超出默认的1024很多。

接着使用lsof -p #port命令查看项目究竟都开了哪些资源文件，如下图所示：

发现大部分是我一个项目中使用的取IP地址文件，我怀疑是不是没有释放文件IO连接资源所导致的。一看代码，果然是，马上修改，如下：

写代码还是要小心呀，特别是对资源的操作。

原因

Too many open files是Linux系统中常见的错误，从字面意思上看就是说程序打开的文件数过多，不过这里的files不单是文件的意思，也包括打开的通讯链接(比如socket)，正在监听的端口等等，所以有时候也可以叫做句柄(handle)，这个错误通常也可以叫做句柄数超出系统限制。

引起的原因就是进程在某个时刻打开了超过系统限制的文件数量以及通讯链接数，通过命令ulimit -a可以查看当前系统设置的最大句柄数是多少：


open files那一行就代表系统目前允许单个进程打开的最大句柄数，这里是1024。
使用命令lsof -p 进程id可以查看单个进程所有打开的文件详情，使用命令lsof -p 进程id | wc -l可以统计进程打开了多少文件:


如果文件数过多使用lsof -p 进程id命令无法完全查看的话，可以使用lsof -p 进程id > openfiles.log将执行结果内容输出到日志文件中查看。

解决办法

1、增大允许打开的文件数

命令方式：ulimit -n 2048

这样就可以把当前用户的最大允许打开文件数量设置为2048了，但这种设置方法在重启后会还原为默认值。 ulimit -n命令非root用户只能设置到4096。 想要设置到8192需要sudo权限或者root用户。


修改系统配置文件

vim /etc/security/limits.conf  
#在最后加入  
* soft nofile 4096  
* hard nofile 4096  
1234

或者只加入

 * - nofile 8192

最前的 * 表示所有用户，可根据需要设置某一用户，例如

roy soft nofile 8192  
roy hard nofile 8192

注意”nofile”项有两个可能的限制措施。就是项下的hard和soft。 要使修改过得最大打开文件数生效，必须对这两种限制进行设定。 如果使用”-“字符设定, 则hard和soft设定会同时被设定。

2、检查程序问题

如果你对你的程序有一定的解的话，应该对程序打开文件数(链接数)上限有一定的估算，如果感觉数字异常，请使用第一步的lsof -p 进程id > openfiles.log命令，获得当前占用句柄的全部详情进行分析，

打开的这些文件是不是都是必要的？

定位到打开这些文件的代码

是否程序操作了文件写入，但是没有进行正常关闭

是否程序进行了通讯，但是没有正常关闭(也就是没有超时结束的机制)

如果程序中存在这些问题的话，无论系统句柄数设置的多么大，随着时间的推移，也一定会占用完。

相关推荐

实战派 | Java项目中玩转Redis6.0客户端缓存

铺垫首先介绍一下今天要使用到的工具Lettuce，它是一个可伸缩线程安全的redis客户端。多个线程可以共享同一个RedisConnection，利用nio框架Netty来高效地管理多个连接。放眼望向...

轻松掌握redis缓存穿透、击穿、雪崩问题解决方案(20230529版)

1、缓存穿透所谓缓存穿透就是非法传输了一个在数据库中不存在的条件，导致查询redis和数据库中都没有，并且有大量的请求进来，就会导致对数据库产生压力，解决这一问题的方法如下：1、使用空缓存解决对查询到...

Redis与本地缓存联手:多级缓存架构的奥秘

多级缓存（如Redis+本地缓存）是一种在系统架构中广泛应用的提高系统性能和响应速度的技术手段，它综合利用了不同类型缓存的优势，以下为你详细介绍：基本概念本地缓存：指的是在应用程序所在的服务器内...

腾讯云国际站:腾讯云服务器如何配置Redis缓存?

本文由【云老大】TG@yunlaoda360撰写一、安装Redis使用包管理器安装（推荐）在CentOS系统中，可以通过yum包管理器安装Redis：sudoyumupdate-...

Spring Boot3 整合 Redis 实现数据缓存，你做对了吗?

你是否在开发互联网大厂后端项目时，遇到过系统响应速度慢的问题？当高并发请求涌入，数据库压力剧增，响应时间拉长，用户体验直线下降。相信不少后端开发同行都被这个问题困扰过。其实，通过在SpringBo...

【Redis】Redis应用问题-缓存穿透缓存击穿、缓存雪崩及解决方案

在我们使用redis时，也会存在一些问题，导致请求直接打到数据库上，导致数据库挂掉。下面我们来说说这些问题及解决方案。1、缓存穿透1.1场景一个请求进来后，先去redis进行查找，redis存在，则...

Spring boot 整合Redis缓存你了解多少

在前一篇里面讲到了Redis缓存击穿、缓存穿透、缓存雪崩这三者区别，接下来我们讲解Springboot整合Redis中的一些知识点：之前遇到过，有的了四五年，甚至更长时间的后端Java开发，并且...

揭秘!Redis 缓存与数据库一致性问题的终极解决方案

在现代软件开发中，Redis作为一款高性能的缓存数据库，被广泛应用于提升系统的响应速度和吞吐量。然而，缓存与数据库之间的数据一致性问题，一直是开发者们面临的一大挑战。本文将深入探讨Redis缓存...

高并发下Spring Cache缓存穿透?我用Caffeine+Redis破局

一、什么是缓存穿透？缓存穿透是指查询一个根本不存在的数据，导致请求直接穿透缓存层到达数据库，可能压垮数据库的现象。在高并发场景下，这尤其危险。典型场景：恶意攻击：故意查询不存在的ID（如负数或超大数值...

Redis缓存三剑客:穿透、雪崩、击穿—手把手教你解决

缓存穿透菜小弟：我先问问什么是缓存穿透？我听说是缓存查不到，直接去查数据库了。表哥：没错。缓存穿透是指查询一个缓存中不存在且数据库中也不存在的数据，导致每次请求都直接访问数据库的行为。这种行为会让缓存...

Redis中缓存穿透问题与解决方法

缓存穿透问题概述在Redis作为缓存使用时，缓存穿透是常见问题。正常查询流程是先从Redis缓存获取数据，若有则直接使用；若没有则去数据库查询，查到后存入缓存。但当请求的数据在缓存和数据库中都...

Redis客户端缓存的几种实现方式

前言：Redis作为当今最流行的内存数据库和缓存系统，被广泛应用于各类应用场景。然而，即使Redis本身性能卓越，在高并发场景下，应用于Redis服务器之间的网络通信仍可能成为性能瓶颈。所以客户端缓存...

Nginx合集-常用功能指导

1）启动、重启以及停止nginx进入sbin目录之后，输入以下命令#启动nginx./nginx#指定配置文件启动nginx./nginx-c/usr/local/nginx/conf/n...

腾讯云国际站:腾讯云怎么提升服务器速度?

本文由【云老大】TG@yunlaoda360撰写升级服务器规格选择更高性能的CPU、内存和带宽，以提供更好的处理能力和网络性能。优化网络配置调整网络接口卡（NIC）驱动，优化TCP/IP参数...

雷霆一击服务器管理员教程

本文转载莱卡云游戏服务器雷霆一击管理员教程（搜索莱卡云面版可搜到）首先你需要给服务器设置管理员密码，默认是空的管理员密码在启动页面进行设置设置完成后你需要重启服务器才可生效加入游戏后，点击键盘左上角E...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表