Keepalived的学习与使用
一、简介Keepalived 软件起初是专为LVS负载均衡软件设计的,用来监控管理LVS集群系统中各个服务节点的状态,后来又加入了可以解决静态路由单点故障问题从而实现高可用的VRRP功能。因此,Keepalived 除了能够管理LVS软件外,还可以作为其他服务(例如Nginx、Haproxy、MySQL等)的高可用解决方案软件。 1.1、安装部署通过官网下载 或者 GitHub 下载源码进行编译安装,由于Keepalived 使用了libpopt库用来解析命令行参数,因此我们也需要安装libpopt库。 # 安装libpoptyum install popt-devel# 进入keepalived源码目录编译安装./configuremake && make install 1.2、配置针对版本 2.1.2,配置大致分为如下几大类: global_defs : 主要是配置故障发生时的通知对象以及机器标识; vrrp_instance : 用来定义对外提供服务的VIP区域及其相关属性; virtual_server :...
小米8刷入MIUI12国外版
一、MIUI相关版本 国内版本:MIUI的官方国内版本,功能比较齐全,国内的服务套件比较齐全(小爱同学等),但是广告比较多,并且预装应用以及后台常驻的系统组件比较多,缺少Google套件(可以通过其他方式安装,但是会有稳定性以及兼容问题); 国际版:MIUI的官方的国际版本(也被称为俄罗斯版本),自带过多的Google套件,比较臃肿,没有广告;不自带小米钱包,因此无法原生使用小米公交等服务(后续可刷入); 波兰版本:MIUI的第三方定制的ROM,自带Google套件,没有广告;不自带小米钱包,因此无法原生使用小米公交等服务(后续可刷入); 英国版本:MIUI的第三方定制的ROM,自带Google套件,没有广告;不自带小米钱包,因此无法原生使用小米公交等服务(后续可刷入); 二、刷机教程针对于国内版本和国际版,我们可是使用小米官方提供的刷机方式进行刷机即可,官方教程。针对于第三方地址的ROM,可以按照如下方式进行刷机。接下来我们将对小米8进行刷机,ROM为英国版本MIUI12。 2.1、解锁Bootloader关于Bootloader的详细介绍可以查看百度百科 -...
LVS的四种工作模式
...
Memcached的钙化及相关解决方案
一、背景由于Memcached存储数据的时候是按照Slabs分类进行存储的,当内存达到Memcached限制的时候,服务进程会执行一系列的内存回收方案,但是,不管是什么内存回收方案,回收的大前提就只有一种:只回收与即将写入数据写入数据块一致的Slabs。因此,这就导致了在业务访问模型变更之后,Memcached对于之前访问模型存储的数据就不会做任何变更,也就是说那部分数据永不会被剔除,因此最终服务可用的内存也会远小于进程启动时的设定,这种情况就被称为Memcached的Slab钙化现象(Slab Calcification)。 在Memcached的 1.4.11 版本之前,官方版本一直存在内存钙化的问题,在这个过程中,Twitter基于Memcached 1.4.4的版本推出了 Twemcache 尝试解决了Slab钙化的问题。在1.4.11版本中,官方引入了 Slab 的 Automove & Rebalance 的策略也解决了内存钙化的问题。 二、 Automove & Rebalance 策略2.1、概念简介通过检测每个Slab...
译 - Summary Cache: A Scalable Wide-Area Web Cache Sharing Protocol
《Summary Cache: A Scalable Wide-Area Web Cache Sharing Protocol》翻译过来是 《摘要缓存:可扩展的广域 Web 缓存共享协议》,这篇文章中提出了布隆过滤器的设计背景以及实现原理,详细介绍了在误判率以及存储空间之间的权衡,之后很多系统中实现的布隆过滤器基本都是参考了这篇文论的实现。 摘要Web Proxy之间的共享缓存是减少Web流量并缓解网络瓶颈的一项重要技术。然而,由于现有协议的开销,它并未得到广泛部署。在本文中,我们演示了缓存共享的好处,衡量了现有协议的开销,并提出了一种称为”摘要缓存’’的新协议。在这个新协议中,每个Proxy都保留了一个包含所有Proxy的缓存摘要目录,并在任何查询之前都要检查在这些摘要之中是否存在潜在的匹配项。有两个因素利于我们协议的低开销:摘要的定期更新以及十分简朴的目录信息,每个条目只有8bits。通过使用跟踪驱动的仿真和原型实现,我们证明了与现有的协议(例如 Internet...
Codis的Slots-Rebalance算法
Codis 实现了另一种的 Redis 集群方案。在该方案中为了能够实现类似于 RedisCluster 的横向扩缩容的能力,Codis 内部实现了一种 Slot-Rebalance 的算法,该算法中所有的 key 都被哈希到 1024 个 slots 上,在每个 slots 分配均匀的前提下,如果一个分片中的 slots 过多,该分片中存储的 key 的数量也就越多,该分片对应的负载也就越大,在扩缩容之后为了保证集群中各分片的负载均衡,需要调整分片的 slots...
RedisModule剖析 - RateLimit
RateLimit 是一款基于 Go的限速库 golang.org/x/time/rate (基于 令牌桶 ) 实现的针对于 key 的限速模块,该模块并非直接拦截 Redis 中关于特定 key 的操作指令,而是每次在需要执行操作指令之前,先发送一个判断命令(该模块提供的特殊命令),通过这种方式来实现限速的目的。 一、简介 GitHub 地址:https://github.com/linfangrong/redismodule-ratelimit 二、架构设计2.1、相关命令 ratelimit.allow : 为指定的 key 设置操作速率约束,后续判断是否能够继续执行需要事先发送该命令进行判断; 2.2、相关代码// 创建一个新的限速器var lm *Limiter = NewLimiter()func NewLimiter() (lm *Limiter) { lm = &Limiter{ dataList: list.New(), dataMap: ...
SSD存储结构对比分析
一、简介SSD的存储单元包含如下几种:SLC、MLC、TLC和QLC,下面对比分析一下这几种存储颗粒的差异。 二、SLC(Single-Level Cell)每个Cell单元存储1bit信息,也就是只有0、1两种电压变化,结构简单,电压控制也快速; 2.1、优缺点 优点: 寿命长,性能强; 读写速度最快的NAND闪存芯片规格; 与任何其他类型的闪存相比,擦写寿命和读写循环的周期最长; 读取/写入错误的发生几率更小,并可在跨度更大的温度范围内正常运行; 缺点: 容量低,成本高; 市场上最昂贵的NAND闪存类型; 通常只有较小的容量; 2.2、适用对象 需要大量读取/写入周期的工业级负载,例如服务器; 三、MLC(Multi-Level...
HAProxy的学习与使用
HAProxy 是一个用于提供高可用、负载均衡以及基于四层和七层网络的代理软件,常使用于对性能要求较高,差错容忍度较低的场景。 一、简介1.1、安装前往HAProxy的官网,下载指定版本的源码包文件(当前的最新版本为2.1.2)进行安装,其中TARGET后的具体参数依据系统的内核版本进行指定; wget http://www.haproxy.org/download/2.1/src/haproxy-2.1.2.tar.gztar -zxvf haproxy-2.1.2.tar.gzcd haproxy-2.1.2make TARGET=linux310make install 1.2、运行 创建配置文件: 新建配置文件目录:mkdir -p /etc/haproxy; 复制配置文件模板:各类模板为源码包中的./examples/*.cfg文件,这里使用./examples/socks4.cfg文件,指令为:cp ./examples/socks4.cfg /etc/haproxy/haproxy.cfg; 启动:haproxy -f...
RocksDB学习 - WriteStall (写停顿)
一、WriteStall 介绍当 RocksDB 中的 Flush 或 Compaction 赶不上写入速度时,RocksDB 会降低写的速率,极端情况下会停止写入,通过使用这个策略来避免出现以下问题: 空间放大,导致耗尽磁盘空间; 读放大, 导致降低读性能; 二、WriteStall 触发场景可能有以下的场景会触发 WriteStall : Memtable 过多 L0 层的 SST 文件过多 等待进行 Compaction 的字节太大 2.1、Memtable 过多 触发条件: 慢写:当 max_write_buffer_number 大于 3, 并且等待进行 Flush 的 MemTables 的个数大于等于 max_write_buffer_number - 1 ,则会触发慢写; 阻写:当等待进行 Flush 的 MemTables 的个数大于等于 max_write_buffer_number ,则会触发阻写,直到等到 Flush 完成; 异常感知: 监控: io_stalls.memtable_slowdown...