缓存和通道联合技术的应用

时间：2024-07-28

陈君

(广东轻工职业技术学院，广东广州510300)

1.引言

在当前的网络环境中，虽然网络技术不断发展，但是带宽资源还是非常有限的。随着网络应用的进一步扩大，带宽要求越来越高，特别是在高校中，由于扩招、数字化校园建设等因素，学生人数越来越多，网络应用越来越深入，校园网络出口带宽不能满足需求。尤其当基于debian的linux发行版更新时，大量用户同时更新，压力就很明显。仅通过增加出口带宽不仅成本高，而且无法长时间满足用户对带宽的需求。通过基于linux的apt-cacher技术、通道联合技术，把软件仓库缓存到校园网内部，可以减轻网络出口并发流量的压力，把出口带宽留给数字化校园建设中重要的网络应用。

2.apt-cacher技术

随着linux技术的发展，各个linux发行版都建有自己的软件仓库，使得用户可以便捷地获取软件及相关更新。在debian linux快速发展的同时，管理软件仓库的apt包管理工具也出现了，通过该工具用户在获取软件时无须考虑软件包依赖的问题，极大减轻了用户的负担，降低了linux的入门门槛。apt-cacher是基于apt技术和apache web服务器，利用perl脚本实现的。只要有用户通过它获取一次软件，它就会把获取过的软件包缓存到本地服务器，当其他用户再次获取该软件包时，apt-cacher会根据软件包的头文件、上一次的下载时间等条件进行验证，如果符合就直接返回本地软件包给用户，否则则通过本地服务器获取最新的软件包。这样可以减少软件包重复下载而造成的带宽浪费，也不会因为缓存时间较长而导致用户无法获取较新的软件包。apt-cacher服务器还可以通过导入新发行版光盘中的软件包，即时获得较多的软件包缓存，减少第一个利用它升级系统的用户所需要等待的时间。该技术通用性强，可以用于任何基于debian的linux发行版的软件仓库。

3.与本地软件仓库相比

本地软件仓库是在一定时间间隔内把官方的软件仓库做一次镜像。因此本地软件仓库存放着大量软件，所占空间需要上百GB或更多，在更新时需要占用大量带宽和时间。校园网用户所使用的linux系统和所需要的软件很大部分是一样的，因此制作完整的本地软件仓库是与减轻网络出口并发流量压力的目的是相悖的。apt-cacher是根据用户的需求而缓存下载过的软件包，减少了存储空间，并较大程度上地减少了同步大量的软件包所产生的网络压力和消耗的时间。

4.通道联合技术

通过apt-cacher技术缓存软件包到本地仅减轻了网络出口的带宽压力，由于用户数较大，还需要在apt-cacher缓存服务器上使用通道联合(bonding)技术。联合服务器上两个或以上的网络接口，增加服务器的网络带宽和冗余，以便达到负载均衡，避免在新发行版发行时大量用户升级出现堵塞。

通道联合技术有7种策略：(1)轮询策略(Round-robin policy)，模式代号是0。该策略是按照设备顺序依次传输数据包，直到最后一个设备。这种模式提供负载均衡和容错能力。(2)活动备份策略(Active-backup policy)，模式代号是1。该策略只有一个设备处理数据，当它宕机的时候就会由备份代替，仅提供容错能力。(3)异或策略(XOR policy)，模式代号是2。该策略是根据MAC地址异或运算的结果来选择传输设备，提供负载均衡和容错能力。(4)广播策略(Broadcast policy)，模式代号是3。该策略通过全部设备来传输所有数据，提供容错能力。(5)IEEE 802.3ad动态链接聚合(IEEE 802.3ad Dynamic link aggregation)，模式代号是4。该策略通过创建聚合组来共享相同的传输速度，需要交换机也支持802.3ad模式，提供容错能力。(6)适配器传输负载均衡(Adaptive transmit load balancing)，模式代号是5。该策略是根据当前的负载把发出的数据分给每一个设备，由当前使用的设备处理收到的数据。本策略的通道联合不需要专用的交换机支持，提供负载均衡和容错能力。(7)适配器负载均衡(Adaptive load balancing)，模式代号是6。该策略在IPV4情况下包含适配器传输负载均衡策略，由ARP协商完成接收的负载，通道联合驱动程序截获ARP在本地系统发送出的请求，用其中一个设备的硬件地址覆盖从属设备的原地址。

5.基于apt-cacher和通道联合技术的缓存平台应用

5.1 服务端设置

apt-cacher基于linux系统，对CPU要求不高，利用一台或多台装有两张或以上的网卡的机器就可以进行搭建。在这里，利用一台拥有两张千兆网卡、操作系统为基于debian的ubuntu server 9.10的linux服务器进行搭建。在服务器上以管理员权限执行以下命令：

安装好最新的apache web服务器、apt-cacher服务、bonding的通道联合工具。web服务器无需手动配置，在apt-cacher服务的安装过程中会自动对其进行配置。apt-cacher服务配置要点为：主要缓存仓库地址为http：//debian.ustc.edu.cn/ubuntu/，缓存过期时间为6个月。这样设置是因为ubuntu linux易用性强，每6个月更新发行版一次，使用ubuntu桌面版作为桌面的用户占了我校linux用户的很大比例，可以使用其升级和更新的软件包为缓存主要对象；而且中国科学技术大学的仓库与ubuntu官方仓库同步时间间隔短，软件包齐全。

5.2 客户端设置

通道联合技术使用轮询策略，这个策略同时利用两个网卡进行并行传输，能提供更高的带宽，容错性强，而且这个策略应用时对其它网络设备没有特殊要求，部署容易，兼容性强，维护方便。

在ubuntu客户端中，只需要把/etc/apt/sources.list中原来的软件仓库地址改成http：//apt-cacher服务器ip：3142debian.ustc.edu.cn/ubuntu/，或者通过修改/etc/apt/apt.conf.d/01proxy文件，把apt-cacher服务器设置成为客户端apt更新时所用的http代理，再进行软件更新即可。甚至可以进一步设置为自动更新。通过这个方案的应用，以相对较小的硬盘空间换取网络出口带宽的占用，可以减少网络出口带宽并发流量的压力，缩短下载软件包所需要的时间。