Nginx的内存缓存是通过slab pool来实现的,但是目前Nginx代码没有对http响应进行内存缓存。比如作为反向代理服务器时向后端获取的文件也只是缓存在磁盘里,而内存只是用来做索引。不过Nginx已经提供了内存缓存功能的函数,所以如果在其他地方有需要使用内存缓存的话,也可以通过修改代码来实现(当然,也可以用memory disk来实现内存缓存)。在Nginx的内存缓存机制中,最重要的结构就是ngx_slab_pool_t,里面存放了包括内存缓存的空间使用情况、位置映射以及缓存空间本身的几乎所有信息。先来看一下ngx_slab_pool_t吧。
typedef struct {
ngx_atomic_t lock; //mutex的锁
size_t min_size; //内存缓存obj最小的大小,一般是1个byte
size_t min_shift; //slab pool以shift来比较和计算所需分配的obj大小、
//每个缓存页能够容纳obj个数以及所分配的页在缓存空间的位置
ngx_slab_page_t *pages; //slab page空间的开头
ngx_slab_page_t free; //如果要分配新的页,就从free.next开始
u_char *start; //实际缓存obj的空间的开头
u_char *end; //整个缓存空间的结尾
ngx_shmtx_t mutex; //互斥锁
u_char *log_ctx;
u_char zero;
void *data;
void *addr; //指向ngx_slab_pool_t的开头
} ngx_slab_pool_t;
struct ngx_slab_page_s {
uintptr_t slab; //多种情况,多个用途
//当需要分配新的页的时候,slab表示剩余页的数量
//当分配某些大小的obj的时候(一个缓存页存放多个obj),slab表
//示被分配的缓存的占用情况(是否空闲),以bit位来表示
ngx_slab_page_t *next; //在分配较小obj的时候,next指向slab page在pool->pages的位置
uintptr_t prev;
};
注意,在ngx_slab_pool_t里面有两种类型的slab page,虽然都是ngx_slab_page_t定义的结构,但是功能不尽相同。一种是slots,用来表示存放较小obj的内存块(如果页大小是4096B,则是<2048B的obj,即小于1/2页),另一种来表示所要分配的空间在缓存区的位置。Nginx把缓存obj分成大的(>=2048B)和小的(<2048B)。每次给大的obj分配一整个页,而把多个小obj存放在一个页中间,用bitmap等方法来表示其占用情况。而小的obj又分为3种:小于128B,等于128B,大于128B且小于2048B。其中小于128B的obj需要在实际缓冲区额外分配bitmap空间来表示内存使用情况(因为slab成员只有4个byte即32bit,一个缓存页4KB可以存放的obj超过32个,所以不能用slab来表示),这样会造成一定的空间损失。等于或大于128B的obj因为可以用一个32bit的整形来表示其状态,所以就可以直接用slab成员。每次分配的空间是2^n,最小是8byte,8,16,32,64,128,256,512,1024,2048。小于2^i且大于2^(i-1)的obj会被分配一个2^i的空间,比如56byte的obj就会分配一个64byte的空间。
先看一下初始化slab pool的函数,在ngx_init_cycle()中调用的ngx_init_zone_pool()中被调用
void ngx_slab_init(ngx_slab_pool_t *pool)
{
//假设每个page是4KB
//设置ngx_slab_max_size = 2048B。如果一个页要存放多个obj,则obj size要小于这个数值
//设置ngx_slab_exact_size = 128B。分界是否要在缓存区分配额外空间给bitmap
//ngx_slab_exact_shift = 7,即128的位表示
//...
//pool->min_shift = 3
//最小分配的空间是8byte
pool->min_size = 1 << pool->min_shift;
//这些slab page是给大小为8,16,32,64,128,256,512,1024,2048byte的内存块
//这些slab page的位置是在pool->pages的前面
//初始化
p = (u_char *) pool + sizeof(ngx_slab_pool_t);
slots = (ngx_slab_page_t *) p;
n = ngx_pagesize_shift - pool->min_shift;
for (i = 0; i < n; i++) {
slots[i].slab = 0;
slots[i].next = &slots[i];
slots[i].prev = 0;
}
//跳过上面那些slab page
p += n * sizeof(ngx_slab_page_t);
//**计算这个空间总共可以分配的缓存页(4KB)的数量,每个页的overhead是一个slab page的大小
//**这儿的overhead还不包括之后给<128B物体分配的bitmap的损耗
pages = (ngx_uint_t) (size / (ngx_pagesize + sizeof(ngx_slab_page_t)));
//把每个缓存页对应的slab page归0
ngx_memzero(p, pages * sizeof(ngx_slab_page_t));
//pool->pages指向slab page的头
pool->pages = (ngx_slab_page_t *) p;
//初始化free,free.next是下次分配页时候的入口
pool->free.prev = 0;
pool->free.next = (ngx_slab_page_t *) p;
//更新第一个slab page的状态,这儿slab成员记录了整个缓存区的页数目
pool->pages->slab = pages;
pool->pages->next = &pool->free;
pool->pages->prev = (uintptr_t) &pool->free;
//实际缓存区(页)的开头,对齐
pool->start = (u_char *)ngx_align_ptr((uintptr_t) p + pages * sizeof(ngx_slab_page_t), ngx_pagesize);
//根据实际缓存区的开始和结尾再次更新内存页的数目
m = pages - (pool->end - pool->start) / ngx_pagesize;
if (m > 0) {
pages -= m;
pool->pages->slab = pages;
}
//...
}
下面来看一下需要分配缓存空间时调用的函数,由于是共享内存,所以在进程间需要用锁来保持同步
void * ngx_slab_alloc(ngx_slab_pool_t *pool, size_t size)
{
//spinlock获取锁
ngx_shmtx_lock(&pool->mutex);
p = ngx_slab_alloc_locked(pool, size);
//解锁
ngx_shmtx_unlock(&pool->mutex);
return p;
}
//返回的值是所要分配的空间在内存缓存区的位置
void * ngx_slab_alloc_locked(ngx_slab_pool_t *pool, size_t size)
{
//这儿假设page_size是4KB
//如果是large obj, size >= 2048B
if(...){
//分配1个或多个内存页
page = ngx_slab_alloc_pages(pool, (size + ngx_pagesize - 1) >> ngx_pagesize_shift);
//返回指向内存缓存页的位置,这儿slab page的位置与所要返回的缓存页的位置是对应的
p = (page - pool->pages) << ngx_pagesize_shift;
p += (uintptr_t) pool->start;
//done, return p
//...
}
//较小的obj, size < 2048B
//根据需要分配的size来确定在slots的位置,每个slot存放一种大小的obj的集合,如slots[0]表示8byte的空间,slots[3]表示64byte的空间
//如果obj过小(<1B),slot的位置是1B空间的位置,即最小分配1B
//...
//如果之前已经有此类大小obj且那个已经分配的内存缓存页还未满
if(...){
//小obj,size < 128B,更新内存缓存页中的bitmap,并返回待分配的空间在缓存的位置
//...
//size == 128B,因为一个页可以放32个,用slab page的slab成员来标注每块内存的占用情况,不需要另外在内存缓存区分配bitmap,并返回待分配的空间在缓存的位置
//...
//size > 128B,也是更新slab page的slab成员,但是需要预先设置slab的部分bit,因为一个页的obj数量小于32个,并返回待分配的空间在缓存的位置
//...
}
//此前没有此类大小的obj或者之前的页已经满了,分配一个新的页,page是新的页相应的slab page
page = ngx_slab_alloc_pages(pool, 1);
//小obj,size < 128B,更新内存缓存页中的bitmap,并返回待分配的空间在缓存的位置(跳过bitmap的位置)
//...
//size == 128B,更新slab page的slab成员(即页中的每个相同大小空间的占用情况),并返回待分配的空间在缓存的位置
//...
//size > 128B,更新slab page的slab成员(即页中的每个相同大小空间的占用情况),并返回待分配的空间在缓存的位置
//...
}
//返回一个slab page,这个slab page之后会被用来确定所需分配的空间在内存缓存的位置
static ngx_slab_page_t * ngx_slab_alloc_pages(...)
{
//从pool->free.next开始,每次取(slab page) page = page->next
for(;;){
//本个slab page剩下的缓存页数目>=需要分配的缓存页数目N
if(...){
//更新从本个slab page开始往下第N个slab page的缓存页数目为本个slab page数目减去N
//N为需要分配的缓存页数目
//更新pool->free.next,下次从第N个slab page开始
//...
//更新被分配的page slab中的第一个的slab成员,即页的个数和占用情况
page->slab = pages | NGX_SLAB_PAGE_START;
//...
//如果分配的页数N>1,更新后面page slab的slab成员为NGX_SLAB_PAGE_BUSY
//...
return page;
}
}
//没有找到空余的页
return NULL;
}
附图
1. ngx_slab_alloc_pages图例:
2. 小物体bitmap图例:
3. slab page和缓存页的映射:
- 大小: 71 KB
- 大小: 50.9 KB
- 大小: 42.1 KB
- 大小: 29.8 KB
- 大小: 96.9 KB
分享到:
相关推荐
本篇文章主要介绍了Nginx启用proxy_cache缓存的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
的缓存与对齐机制,slab内存管理中一些设计相当巧妙的地方,也有一些地方个人感觉设计 不是很完美,或许是作为nginx设计综合考虑的结果。 nginx slab实现中的一大特色就是大量的位操作,这部分操作很多是与slot分级...
今天小编就为大家分享一篇关于nginx proxy_cache批量清除缓存的脚本介绍,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
所以在这里用到了nginx的proxy_redirect指定修改被代理服务器返回的响应头中的location头域跟refresh头域数值 以下是截取nginx的一小段配置文档 server { listen 80; server_name www.boke.com; l
nginx_cache_purge,用于清楚nginx缓存的小工具
此文比较详细讲述了Nginx与proxy共同搭建反向代理服务的配置方法
fastdfs-5.05.tar.gz : FastDFS安装主文件包 libfastcommon-master.zip: FastDFS文件系统依赖包 nginx-1.8.1.tar.gz:nginx安装包 fastdfs-nginx-module_v1.16.tar.gz: nginx下...ngx_cache_purge-2.1.tar.gz:缓存
第一步:添加nginx.conf的http级别的缓存配置 第二步:在访问静态文件的location上添加缓存 第三步:在proxy_pass跳转的locatio
ngx_cache_purge 是 nginx 模块,此模块可以清理 nginx 的 FastCGI、proxy、 SCGI 和 uWSGI 的缓存。配置指令(相同位置语法)fastcgi_cache_purgesyntax: fastcgi_cache_purge on|off|<method> [from all|<ip> [.....
nginx-缓存控制没有缓存清除模块的 Nginx 缓存控制插件部分代码是基于其他 Nginx Cache Plugins 的代码,但这是设计为简单、轻量级的实现== 具体.... == Mark Jaquith 提出了使用强制动态页面加载的标头的基本设计,...
Nginx在vhost里的配置站点,通过proxy转发到动态域名的具体配置。 反向代理,动态域名 ,Proxy
一个用于nginx-proxy的轻量级协同容器,它能够自动创建/更新LetsEncrypt 证书
docker-letsencrypt-nginx-proxy-companion-examples, 结合 Docker gen和 letsencrypt Nginx 代理伙伴的示例 docker-letsencrypt-nginx-proxy-companion-examples这个库是使用 nginx代理插件, docker gen和 docker-...
nginx缓存阅读器 解析 nginx 的缓存文件夹和文件 这是一个用于快速查看nginx缓存文件夹信息的CLI客户端。 它可以从缓存文件夹中读取密钥并提取其中的内容。 这也可以用作库。 见 先决条件 节点 >=12.xx 建议您...
Nginx缓存nginx有两种缓存机制:fastcgi_cache和proxy_cache下面我们来说说这两种缓存机制的区别吧proxy_cache作用是缓存后端服务器的内容,可能是任何内容,包括静态的和动态的fastcgi_cache作用是缓存fastcgi生成的...
使用docker-gen的Docker容器的自动化nginx代理
nginx_tcp_proxy_module-master.zip