咕咕

rsync命令是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件。rsync使用所谓的rsync算法来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。 rsync是一个功能非常强大的工具，其命令也有很多功能特色选项，我们下面就对它的选项一一进行分析说明。 一、参数解析-v, --verbose 详细模式输出。-q, --quiet 精简输出模式。-c, --checksum 打开校验开关，强制对文件传输进行校验。-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD。-r, --recursive 对子目录以递归模式处理。-R, --relative 使用相对路径信息。-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。--backup-dir 将备份文件(如~filename)存放在在目录下。-suffix=SUFFIX 定义备份文件...

《The rsync algorithm》这篇发表于 1996 年的论文中介绍了一种名为 rsync 的增量同步算法，它能够快速地将两个文件夹中的内容同步。该算法利用了文件的局部性和差异性，通过计算文件的弱校验和和块校验和来确定文件的相似性，并进行增量同步。该算法具有高效性、可靠性和安全性等优点，在实际应用中被广泛使用。 0、摘要This report presents an algorithm for updating a file on one machine to be identical to a file on another machine. We assume that the two machines are connected by a low-bandwidth high-latency bi-directional communications link. The algorithm identifies parts of the source file which are identical to some part of the destinat...

本文翻译自 2007 年 Amazon 的分布式存储经典论文：《Dynamo: Amazon’s Highly Available Key-value Store》)，直译为 《Dynamo：Amazon 的高可用键值存储》，这里对排版做了一些调整，以更适合 web 阅读。 Dynamo 是 Amazon 的高可用分布式键值存储（key/value storage）系统。这篇论文发表 的时候（2007）它还只是一个内部服务，现在（改名为 DynamoDB）已经发展成 AWS 最核心 的存储产品（服务）之一，与 S3 等并列。据了解，国内某一线大厂的公有云键值 存储服务，也是参考这篇文章设计和实现的。 现在提到键值存储，大家首先想到的可能是 Redis，那么 Dynamo 和 Redis 是不是竞品， 只是一个开源一个是商业的？不是的，二者针对的场景不同，这里非常粗地列举几方面： 使用场景：Dynamo 定位是永远可写（always writable）的持久文件系统，Redis 主要用作（易失）缓存或内存数据库 存储方式：Dynamo 是磁盘，Redis 是内存 系统规...

一、正向代理正向代理是一个位于客户端和目标服务器之间的服务器，为了从目标服务器取得内容，客户端需要向代理服务器发送一个请求并指定目标服务器，然后代理服务器向目标服务器转交请求并将获得的内容返回给客户端。 1.1、特点 用户无法直接访问目标服务器； 客户端明确知道自己访问的是代理服务器； 隐藏真实的客户端IP； 1.2、使用场景 为防火墙（局域网）内的客户端提供访问互联网的途径； 客户端的鉴权； 提供数据缓存，访问加速服务； 1.3、相关软件 Nginx Apache Traffic Server Tinyproxy Squid Cache 二、反向代理反向代理服务器位于客户端与目标服务器之间，但是对于客户端而言，反向代理服务器就相当于目标服务器，即客户端直接访问反向代理服务器就可以获得目标服务器的资源。同时，客户端不需要知道目标服务器的地址，也无须在客户端作任何设定。 2.1、特点 客户端不知道访问的是代理服务器，客户端认为访问的就是实际的目标服务器； 目标服务器不知道访问请求来源于代理服务器。目标服务器认为发送请求的就是普通的客户端； 2.2、使用场景 网络...

在构建镜像的过程中可能会区分为编译镜像以及运行镜像，我们在编译环境中进行二进制运行文件的构建编译工作，然后将运行文件放置在运行环境中构建体积较小的运行镜像，在这个过程中，我们可能会使用到多阶段构建。 一、简介在Docker的17.05及更高的版本中支持了多阶段构建的方式，多阶段构建的方式极大的减小了需要阶段性构建的复杂度。官方介绍 - multistage-build 二、多阶段构建的前后对比2.1、使用多阶段构建之前构建Docker镜像的过程中，最具挑战性的事情就是如何保证Docker镜像的尺寸能够尽可能的小。但是在编译的过程中，我们可能会产生一些多余的中间件，但是很多情况下我们可能只需要最终的可运行的二进制文件，并不需要编译环境中的多余组件。 实际上，通常只有一个Dockerfile用于开发（包含构建应用程序所需的一切），而精简的Dockerfile用于生产时，它仅包含您的应用程序以及运行它所需的内容。这被称为“构建者模式”。维护两个Dockerfile是不理想的，并且也会十分复杂。 Dockerfile.build：用于开发构建的Dockerfile； Dockerfil...

一、分支管理二、提交日志管理 批量替换历史提交日志的用户名和邮箱信息 git filter-branch -f --env-filter 'OLD_NAME="old_name"OLD_EMAIL="old@mail.com"CORRECT_NAME="new_name"CORRECT_EMAIL="new@mail.com"if [ "$GIT_COMMITTER_EMAIL" = "$OLD_EMAIL" ]then export GIT_COMMITTER_NAME="$CORRECT_NAME" export GIT_COMMITTER_EMAIL="$CORRECT_EMAIL"fiif [ "$GIT_AUTHOR_EMAIL" = "$OLD_EMAIL" ]then export GIT_AUTHOR_NAME="$CORREC...

一、简介OpenSSH的客户端有一个 ProxyCommand 的选项，用于 SSH 客户端与服务器之间的隧道通信(tunneling)。所谓的隧道技术，也称代理技术，是网络通信技术的一个普遍概念，就是把一条信道建立于另外一条信道之上。 SSH 会话基于一个 TCP 连接，如果我们把连接的两个端口各自的出口（也即入口）进行截获，就可以用其它的信道来传输。而且 SSH 仍然认为它用的是和另一端连接一条 TCP 连接。 ProxyCommand 指定一个命令（称为 Proxy），SSH 客户端将通过标准输入输出和这个命令启动后的进程进行正常的 SSH 通信，而 Proxy 连接着 SSH 服务器（一般是一个 Server Proxy，再由该 Server Proxy 连接服务器）。Proxy 和 Server Proxy 之间组成了一条隧道，如果两者之间用 HTTP 协议进行通信，则整个系统便称为tunneling SSH over HTTP，当然也可以使用 UDP、TCP、IP 以及其它任意的可行的协议。 SSH ProxyCommand 相对于 SOCKS、HTTP 或者其它的P...

nc的全称为Netcat，是一款拥有多种功能的 CLI 工具，可以在网络上进行读/写以及重定向数据等操作，被誉为是网络界的瑞士军刀。它被设计成可以被脚本或其他程序调用的可靠的后端工具。同时由于它能创建任意所需的连接，因此它是一个非常好用的网络工具，它的主要用途为： 文件传输：由于是直接建立TCP连接发送数据流，因此使用nc传输文件是不安全的，但是速度很快； 端口扫描：可用于批量扫描指定IP的端口是否可用； 代理服务器：简单的代理服务器； 等等； 一、源码解析 官方nc（Netcat）的代码的下载地址为：http://netcat.sourceforge.net/download.php； nc（Netcat）各版本的代码已经存储到 bugwz/netcat； 1.1、工作模式nc共有四种连接模式，一下列出的连接模式按照索引等级由低到高，具体模式的含义解释以及相关的结构体代码如下所示： 未制定模式：默认的模式； 连接模式：未使用-l和-L参数，通常为客户端连接其他IP的对应端口时启用该模式； 监听模式：使用-l参数进入该模式； 隧道模式：使用-...

一、TyporaTypora是一款极简的Markdown写作编辑器，相比于传统的双栏目预览式编辑，Typora巧妙的实现了一种所见即所得的编辑模式，关于这款工具的详细的介绍，以及它与其他工具的对比，在网上到处都是，这里就不赘述了。我只简单的描述以下我对这个编辑的印象与评价。 优点： 风格极简，支持几种主流的主题风格，同时支持主题自定义； 所见即所得的创新的写作风格体验； 支持文档导出为多种格式，PDF，HTML，Word等； 支持LaTex公式； 待改进： 文档列表新建文件的按钮有时候会无响应，点击多次才能新建文件； 图片插入目前只支持iPic这款付费插件，诸如PicGo还不支持； 二、PicGoPicGo是一款开源的图床软件，该软件与iPic的不分伯仲，目前支持众多图床（SM.MS图床，腾讯云COS，微博图床，GitHub图床，七牛图床，Imgur图床，阿里云OSS，又拍云图床等），这里简单表述一下我的个人使用体验。 优点： 项目开源，文档支持中文，比较齐全； 支持插件，用户可根据自己需要自定义插件； 三、结合使用由于公司内部使用GitLab，在记录一下is...

sar 的全称是 System Activity Reporter（系统活动情况报告）的缩写。sar工具将对系统当前的状态进行取样，然后通过计算数据和比例来表达系统的当前运行状态。它的特点是可以连续对系统取样，获得大量的取样数据；取样数据分析的结果都可以存入文件， 所需的负载很小。sar是目前 Linux 上最为全面的系统性能分析工具之一，可以从 14 个大方面对系统的活动进行报告，包括文件的读写情况、系统调用的使用情况、串口、CPU 效率、内存使用状况、进程活动及IPC有关的活动等，使用也是较为复杂。 一、简介sar是查看操作系统报告指标的各种工具中，最为普遍和方便的；它有两种用法； 追溯过去的统计数据（默认） 周期性的查看当前数据 sar只是sysstat（最新版本为v12.1.6）软件包中的一个工具，sar相关的工具还包括sadc、sa1、sa2： sadc：系统动态数据收集工具，收集的数据被写入一个二进制文件中，它是sar工具后端； sa1：将每日的系统活动信息以二进制数据的形式写入到文件中，由cron调用，默认的cron作业位于/etc/cron.d/syssta...