咕咕

《Summary Cache: A Scalable Wide-Area Web Cache Sharing Protocol》翻译过来是 《摘要缓存：可扩展的广域 Web 缓存共享协议》，这篇文章中提出了布隆过滤器的设计背景以及实现原理，详细介绍了在误判率以及存储空间之间的权衡，之后很多系统中实现的布隆过滤器基本都是参考了这篇文论的实现。 摘要Web Proxy之间的共享缓存是减少Web流量并缓解网络瓶颈的一项重要技术。然而，由于现有协议的开销，它并未得到广泛部署。在本文中，我们演示了缓存共享的好处，衡量了现有协议的开销，并提出了一种称为”摘要缓存’’的新协议。在这个新协议中，每个Proxy都保留了一个包含所有Proxy的缓存摘要目录，并在任何查询之前都要检查在这些摘要之中是否存在潜在的匹配项。有两个因素利于我们协议的低开销：摘要的定期更新以及十分简朴的目录信息，每个条目只有8bits。通过使用跟踪驱动的仿真和原型实现，我们证明了与现有的协议（例如 Internet 的缓存协议ICP）相比，”摘要缓存”将缓存间协议消息的数量减少了25到60，带宽消耗减少了超过50%，消除了75...

Codis 实现了另一种的 Redis 集群方案。在该方案中为了能够实现类似于 RedisCluster 的横向扩缩容的能力，Codis 内部实现了一种 Slot-Rebalance 的算法，该算法中所有的 key 都被哈希到 1024 个 slots 上，在每个 slots 分配均匀的前提下，如果一个分片中的 slots 过多，该分片中存储的 key 的数量也就越多，该分片对应的负载也就越大，在扩缩容之后为了保证集群中各分片的负载均衡，需要调整分片的 slots 的数量。 一、简述1.1、使用场景Codis的集群初始为2个分片，当业务增长需要扩容到4个分片的时候，我们可以手动指定slots指挥Codis进行数据迁移，也可以使用AutoRebalance让Codis自动的进行Slots数据迁移。 1.2、迁移原则 尽可能的均匀分配Slots； 尽量减少迁移的Slots的数量； 二、Rebalance算法2.1、Slots分配方案 统计当前迁移中Slots的结果，用于当前迁移方案的基础数据； 按照每个Group可分配Slots的最大限制，统计Group中需要迁入/...

RateLimit 是一款基于 Go的限速库 golang.org/x/time/rate （基于 令牌桶 ） 实现的针对于 key 的限速模块，该模块并非直接拦截 Redis 中关于特定 key 的操作指令，而是每次在需要执行操作指令之前，先发送一个判断命令（该模块提供的特殊命令），通过这种方式来实现限速的目的。 一、简介 GitHub 地址：https://github.com/linfangrong/redismodule-ratelimit 二、架构设计2.1、相关命令 ratelimit.allow : 为指定的 key 设置操作速率约束，后续判断是否能够继续执行需要事先发送该命令进行判断； 2.2、相关代码// 创建一个新的限速器var lm *Limiter = NewLimiter()func NewLimiter() (lm *Limiter) { lm = &Limiter{ dataList: list.New(), dataMap: make(map[string]*list.Elemen...

一、简介SSD的存储单元包含如下几种：SLC、MLC、TLC和QLC，下面对比分析一下这几种存储颗粒的差异。 二、SLC（Single-Level Cell）每个Cell单元存储1bit信息，也就是只有0、1两种电压变化，结构简单，电压控制也快速； 2.1、优缺点 优点： 寿命长，性能强； 读写速度最快的NAND闪存芯片规格； 与任何其他类型的闪存相比，擦写寿命和读写循环的周期最长； 读取/写入错误的发生几率更小，并可在跨度更大的温度范围内正常运行； 缺点： 容量低，成本高； 市场上最昂贵的NAND闪存类型； 通常只有较小的容量； 2.2、适用对象 需要大量读取/写入周期的工业级负载，例如服务器； 三、MLC（Multi-Level Cell）每个cell单元存储2bit信息，需要更复杂的电压控制，有00，01，10，11四种变化，这也意味着写入性能、可靠性能降低了。其P/E寿命根据不同制程在3000-5000次不等。 3.1、优缺点 优点： 扩展的SSD的容量，也拥有合理的性价比； 比TLC闪存表现更加稳定； 缺点： 不如S...

HAProxy 是一个用于提供高可用、负载均衡以及基于四层和七层网络的代理软件，常使用于对性能要求较高，差错容忍度较低的场景。 一、简介1.1、安装前往HAProxy的官网，下载指定版本的源码包文件（当前的最新版本为2.1.2）进行安装，其中TARGET后的具体参数依据系统的内核版本进行指定； wget http://www.haproxy.org/download/2.1/src/haproxy-2.1.2.tar.gztar -zxvf haproxy-2.1.2.tar.gzcd haproxy-2.1.2make TARGET=linux310make install 1.2、运行 创建配置文件： 新建配置文件目录：mkdir -p /etc/haproxy； 复制配置文件模板：各类模板为源码包中的./examples/*.cfg文件，这里使用./examples/socks4.cfg文件，指令为：cp ./examples/socks4.cfg /etc/haproxy/haproxy.cfg； 启动：haproxy -f /etc/haproxy/haproxy...

一、WriteStall 介绍当 RocksDB 中的 Flush 或 Compaction 赶不上写入速度时，RocksDB 会降低写的速率，极端情况下会停止写入，通过使用这个策略来避免出现以下问题： 空间放大，导致耗尽磁盘空间； 读放大， 导致降低读性能； 二、WriteStall 触发场景可能有以下的场景会触发 WriteStall ： Memtable 过多 L0 层的 SST 文件过多 等待进行 Compaction 的字节太大 2.1、Memtable 过多 触发条件： 慢写：当 max_write_buffer_number 大于 3， 并且等待进行 Flush 的 MemTables 的个数大于等于 max_write_buffer_number - 1 ，则会触发慢写； 阻写：当等待进行 Flush 的 MemTables 的个数大于等于 max_write_buffer_number ，则会触发阻写，直到等到 Flush 完成； 异常感知： 监控： io_stalls.memtable_slowdown io_stalls.memtable_c...

lsof（list open files）是一个列出当前系统打开文件的工具。在Linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用程序分配了一个文件描述符，无论这个文件的本质如何，该文件描述符为应用程序与基础操作系统之间的交互提供了通用接口。因为应用程序打开文件的描述符列表提供了大量关于这个应用程序本身的信息，因此通过lsof工具能够查看这个列表对系统监测以及排错将是很有帮助的。 一、参数解析使用的版本为4.8.2 -a：列出打开文件存在的进程；-c<进程名>：列出指定进程所打开的文件；-g：列出GID号进程详情；-d<文件号>：列出占用该文件号的进程；-n<目录>：列出使用NFS的文件；-i<条件>：列出符合条件的进程(4、6、协议、:端口、 @ip )；-p<进程号>：列出指定进程号所打开的文件；-R：列出父进程的pid；-u：列出UID号进程详情；-h：显示帮助信息；-v：...

一、简介Linux的文件能否找到文件的创建时间取决于文件系统类型，在ext4之前的早期文件系统中（ext、ext2、ext3），文件的元数据不会记录文件的创建时间，它只会记录访问时间、修改时间、更改时间（状态更改时间）。典型的文件的基础信息如下所示： [root@bugwz ～]# stat test.file File: ‘test.file’ Size: 2 Blocks: 8 IO Block: 4096 regular fileDevice: 807h/2055d Inode: 5255117 Links: 1Access: (0755/-rwxr-xr-x) Uid: ( 0/ root) Gid: ( 0/ root)Access: 2019-12-12 19:11:33.175841399 +0800Modify: 2019-12-12 19:11:37.564970487 +0800Change: 2019-12-12 19:11:43.079132663 +0800 Birth: ...

编译项目的过程中经常会需要执行 make 命令来操作 Makefile 编译命令，但是在有一些项目中是不存在 Makefile 文件的，这时候就需要手动先生成 Makefile 文件，然后在执行编译指令。 一、流程介绍 autoscan：通过扫描源代码来搜寻普通的可移植性问题，比如检查编译器，库，头文件等，生成文件configure.scan，它是configure.ac的一个雏形； aclocal：根据已经安装的宏，用户定义宏和acinclude.m4文件中的宏将configure.ac文件所需要的宏集中定义到文件 aclocal.m4中，aclocal是一个perl 脚本程序，完整定义为：aclocal - create aclocal.m4 by scanning configure.ac； automake：将Makefile.am中定义的结构建立Makefile.in； autoheader：生成了configure.h.in（如果configure.ac中定义了AC_CONFIG_HEADER，那么此文件则必须存在）； autoconf：将configure...

一、简介Linux 发行版比较多，同时还有很多个人或组织维护了某些特定用途的安装/升级源。Yum Priorities 插件可以用来强制保护源。它通过给各个源设定不同的优先级，使得系统管理员可以将某些源设定为最高优先级，从而保证系统的稳定性。 二、yum-priorities2.1、安装yum install -y yum-priorities 2.2、配置验证cat /etc/yum/pluginconf.d/product-id.conf 需要确认的是，如果enabled的配置为1，代表已经启用了yum源的配置优先级； [main]enabled=1 2.3、配置优先级调整[Example 1]name=Example_1baseurl=http://mirror.centos.org/centos/$releasever/example_1/$basearch/priority=10gpgcheck=0enabled=1[Example 2]name=Example_2baseurl=http://mirror.centos.org/centos/$rele...