高手进来，如何解决内存碎片问题？
[问题点数：40分]
高手进来，如何解决内存碎片问题？
[问题点数：40分]
不显示删除回复
显示所有回复
显示星级回复
显示得分回复
只显示楼主
2009年4月 总版技术专家分月排行榜第一
2009年11月 Linux/Unix社区大版内专家分月排行榜第一2009年6月 Linux/Unix社区大版内专家分月排行榜第一2009年4月 C/C++大版内专家分月排行榜第一2009年3月 C/C++大版内专家分月排行榜第一2009年3月 Linux/Unix社区大版内专家分月排行榜第一2009年2月 Linux/Unix社区大版内专家分月排行榜第一
2007年9月 C/C++大版内专家分月排行榜第三2007年8月 C/C++大版内专家分月排行榜第三2006年11月 C/C++大版内专家分月排行榜第三
2010年5月 C/C++大版内专家分月排行榜第三2010年3月 C/C++大版内专家分月排行榜第三2010年1月 C/C++大版内专家分月排行榜第三
匿名用户不能发表回复！|Sina Visitor System没有更多推荐了，
不良信息举报
举报内容：
malloc原理和内存碎片
举报原因：
原文地址：
原因补充：
最多只允许输入30个字
加入CSDN，享受更精准的内容推荐，与500万程序员共同成长！青大旗下网站
广东省软件工程师实训基地广东省高薪就业培训中心
广东省网络工程师实训基地广东省IT人才培训中心
您现在的位置：所在位置：&&>>&&>>&&>>&正文&&&&>
服务专区SETVICE
分配内存时如何减少内存碎片
　　　　感觉面试的时候经常会被问到这个问题，然后我也学习了一下Memcached的slab机制，发现很多服务器都是使用这种机制来分配内存，所以决定学习一下。
　　首先，先对内存分配中的伙伴系统有初步的了解：
　　在编程和使用的服务器软件中，经常需要分配一组连续的页框，而频繁地申请和释放不同大小的连续页框，必然导致在已分配页框的内存块中分散了许多小块的空闲页框。这样，即使这些页框是空闲的，但要分配一个大块的连续页框就可能无法满足。
　　而Linux采用了伙伴系统来解决上述难题。把所有的空闲页框分组为11个块链表，每个块链表分别包含大小为1，2，4，8，16，32，64，128，256，512和1024个连续页框的页框块。最大可以申请1024个连续页框，对应4MB大小的连续内存。每个页框块的第一个页框的物理地址是该块大小的整数倍。例如，大小为16个页框的块，其起始地址是16×212的倍数。
　　假设要申请一个256个页框的块，先从256个页框的链表中查找空闲块，如果没有，就去512个页框的链表中找，找到了则将页框块分为2个256个页框的块，一个分配给应用，另外一个移到256个页框的链表中。如果512个页框的链表中仍没有空闲块，继续向1024个页框的链表查找，如果仍然没有，则返回错误。
　　页框块在释放时，内核会主动将两个互为伙伴的页框块合并为一个较大的页框块，成功后会试图寻找伙伴并合并为更大的内存块，直至块的大小超过上限或者没有伙伴为止。互为伙伴的两个内存块必须符合以下条件：
　　1、两个块具有相同的大小;
　　2、第一个快的物理地址是两个块大小的整数倍。
　　3、两个块的物理地址连续;
　　slab分配机制则是对伙伴算法的改进，slab(Slab Allocation)的设计理念是基于对象缓冲的，基本想法是避免重复大量的初始化和清理操作。slab主要可以用于频繁非配释放的内存对象。替代malloc/free
　　改进的地方在于：
　　它对内存区的处理并不需要进行初始化或回收。出于效率的考虑，Linux并不调用对象的构造或析构函数，而是把指向这两个函数的指针都置为空。Linux中引入Slab的主要目的是为了减少对伙伴算法的调用次数。
　　实际上，内核经常反复使用某一内存区。例如，只要内核创建一个新的进程，就要为该进程相关的数据结构(task_struct、打开文件对象等)分配内存区。当进程结束时，收回这些内存区。因为进程的创建和撤销非常频繁，因此，Linux的早期版本把大量的时间花费在反复分配或回收这些内存区上。从Linux2.2开始，把那些频繁使用的页面保存在高速缓存中并重新使用。 可以根据对内存区的使用频率来对它分类。对于预期频繁使用的内存区，可以创建一组特定大小的专用缓冲区进行处理，以避免内碎片的产生。对于较少使用的内存区，可以创建一组通用缓冲区(如Linux2.0中所使用的2的幂次方)来处理，即使这种处理模式产生碎片，也对整个系统的性能影响不大。
　　硬件高速缓存的使用，又为尽量减少对伙伴算法的调用提供了另一个理由，因为对伙伴算法的每次调用都会“弄脏”硬件高速缓存，因此，这就增加了对内存的平均访问次数。
　　Slab分配模式把对象分组放进缓冲区
　　对于小对象， 就把Slab的描述结构slab_t放在该Slab中;对于大对象，则把Slab结构游离出来，集中存放。关于Slab中的着色区再给予具体描述：
　　每个Slab的首部都有一个小小的区域是不用的，称为“着色区(coloring area)”。着色区的大小使Slab中的每个对象的起始地址都按高速缓存中的”缓存行(cache line)”大小进行对齐(80386的一级高速缓存行大小为16字节，Pentium为32字节)。因为Slab是由1个页面或多个页面(最多为32)组成，因此，每个Slab都是从一个页面边界开始的，它自然按高速缓存的缓冲行对齐。但是，Slab中的对象大小不确定，设置着色区的目的就是将Slab中第一个对象的起始地址往后推到与缓冲行对齐的位置。因为一个缓冲区中有多个Slab，因此，应该把每个缓冲区中的各个Slab着色区的大小尽量安排成不同的大小，这样可以使得在不同的Slab中，处于同一相对位置的对象，让它们在高速缓存中的起始地址相互错开，这样就可以改善高速缓存的存取效率。
　　每个Slab上最后一个对象以后也有个小小的废料区是不用的，这是对着色区大小的补偿，其大小取决于着色区的大小，以及Slab与其每个对象的相对大小。但该区域与着色区的总和对于同一种对象的各个Slab是个常数。
　　每个对象的大小基本上是所需数据结构的大小。只有当数据结构的大小不与高速缓存中的缓冲行对齐时，才增加若干字节使其对齐。所以，一个Slab上的所有对象的起始地址都必然是按高速缓存中的缓冲行对齐的。
上一篇电脑技术：
下一篇电脑技术：
|||||版权& 广州励康科技有限公司
公司地址：广东省广州市天河区中山大道西高新技术工业园建中路58号五楼东面
海珠校区地址：广州市海珠区江南大道北市二宫天一酒店5楼全层(市二宫正门旁)
广州计算机学习网：www.020bdqn.com.cn
联系电话： 020-C语言中的内存泄露 怎样避免与检测
转载 &更新时间：日 10:07:39 & 作者：
堆经常会出现两种类型的问题：1.释放或改写仍在使用的内存(称为：“内存损坏”)。2.未释放不再使用的内存(称为：“内存泄露”)。这是最难被调试发现的问题之一
有些程序并不需要管理它们的动态内存的使用。当需要内存时，它们简单地通过分配来获得，从来不用担心如何释放它。这类程序包括编译器和其他一些运行一段固定的（或有限的）时间然后终止的程序。当这种类型的程序终止时，所有内存会被自动回收。细心查验每块内存是否需要回收纯属浪费时间，因为它们不会再被使用。
其他程序的生存时间要长一点。有些工具如日历管理器、邮件工具以及操作系统本事经常需要数日及至数周连续运行，并需要管理动态内存的分配和回收。由于C语言通常并不使用垃圾回收器（自动确认并回收不再使用的内存块），这些C程序在使用malloc()和free()时不得不非常慎重。堆经常会出现两种类型的问题：1.释放或改写仍在使用的内存(称为：“内存损坏”)。2.未释放不再使用的内存(称为：“内存泄露”)。
这是最难被调试发现的问题之一。如果每次已分配的内存块不再使用而程序并不释放它们，进程就会一边分配越来越多的内存，一边却并不释放不再使用的那部分内存。
避免内存泄露每当调用malloc分配内存时，注意在以后要调用相应的free来释放它。
如果不知道如何调用free与先前的malloc相对应，那么很可能已经造成了内存泄露！
一种简单的方法就是在可能的时候使用alloca()来分配动态内存，以避免上述情况。当离开调用alloca的函数时，它所分配的内存会被自动释放。
显然，这并不适用于那些比创建它们的函数生命期更长的结构。但如果对象的生命期在该函数结束前便已经终止，这种建立在堆栈上的动态内存分配是一种开销很小的选择。有些人不提倡使用alloca，因为它并不是以后总可移植的方法。如果处理器在硬件上不支持堆栈，alloca()就很难高效地实现。
我们使用“内存泄露”这个词是因为一种稀有的资源正在被一个进程榨干。内存泄露的主要可见症状就是罪魁进程的速度很减慢。原因是体积大的进程更有可能被系统换出，让别的进程运行，而且大的进程在换进换出时花费的时间也更多。即使泄露的内存本省并不被引用，但它仍用可能存在于页面中（内容自然是垃圾），这样就增加了进程的工作页数量，降低了性能。另外需要注意的一点是，内存泄露往往比忘记释放的的数据结构要打，因为malloc()所分配的内存通常会圆整为下一个大于申请数量的2的整数次方（如申请212B,会圆整为256B）。在资源有限的情况下，即使引起内存泄露的进程并不运行，整个系统运行速度也会被拖慢。从理论上说，进程的大小有一个上限值，这在不同的操作系统中各不相同。在当前的SunOS版本中，进程的最大地址空间可以多达4GB。事实上，在进程所泄露的内存远未达到这个数量时，磁盘的交换区早已消耗殆尽。
如何检测内存泄露观察内存泄露是一个两步骤的过程。首先，使用swap命令观察还有多少可用的交换空间：
/usr/sbin/swap -stotal:17228K bytes allocated + 5396K reserved=22626K used，29548K available.
在一两分钟内键入该命令三到四次，看看可用的交换区是否在减少。还可以使用其他一些/usr/bin/*stat工具如netstat、vmstat等。如发现波段有内存被分配且从不释放，一个可能的解释就是有个进程出现了内存泄露。
您可能感兴趣的文章:
大家感兴趣的内容
12345678910
最近更新的内容
常用在线小工具}