大型网站架构的演变过程

单机时代

大型网站都是从小型网站发展而来,网站架构也是一样,是从小型网站架构逐步演化而来。小型网站最开始时没有太多人访问,只需要一台服务器就绰绰有余,最典型的是在小型网站上称霸的LAMP(Linux+Apache+MySQL+PHP)。此时的网站架构如图所示:

大型网站架构的演变过程

应用服务和数据服务分离

随着网站业务的发展,一台服务器逐渐不能满足需求:越来越多的用户访问导致性能越来越差,越来越多的数据导致存储空间不足。这时就需要将应用和数据分离。应用和数据分离后整个网站使用三台服务器:应用服务器、文件服务器和数据库服务器,如图所示:

大型网站架构的演变过程

这三台服务器对硬件资源的要求各不相同,应用服务器需要处理大量的业务逻辑,因此需要更快更强大的CPU;数据库服务器需要快速磁盘检索和数据缓存,因此需要更快的硬盘和更大的内存;文件服务器需要存储大量用户上传的文件,因此需要更大的硬盘。

随着用户数增多,网站又一次面临挑战:数据库压力太大导致访问延迟,进而影响整个网站的性能。

使用缓存改善网站性能

网站访问特点和现实世界的财富分配一样遵循二八定律:80%的业务访问集中在20%的数据上。淘宝买家浏览的商品集中在少部分成交数多、评价良好的商品上;百度搜索关键词集中在少部分热门词汇上;只有经常登录的用户才会发微博、看微博,而这部分用户也只占总用户数目的一小部分。

既然大部分的业务访问集中在一小部分数据上,那么如果把这一小部分数据缓存在内存中,是不是就可以减少数据库的访问压力,提高整个网站的数据访问速度,改善数据库的写入性能了呢?

网站使用的缓存可以分为两种:缓存在应用服务器上的本地缓存和缓存在专门的分布式缓存服务器上的远程缓存。本地缓存的访问速度更快一些,但是受应用服务器内存限制,其缓存数据量有限,而且会出现和应用程序争用内存的情况。远程分布式缓存可以使用集群的方式,部署大内存的服务器作为专门的缓存服务器,可以在理论上做到不受内存容量限制的缓存服务,如图所示:

大型网站架构的演变过程

使用缓存后,数据访问压力得到有效缓解,但是单一应用服务器能够处理的请求连接有限,在网站访问高峰期,应用服务器成为整个网站的瓶颈。

使用应用服务器集群改善网站的并发处理能力

这也被称为负载均衡:

大型网站架构的演变过程

数据库读写分离

网站在使用缓存后,使绝大部分数据读操作访问都可以不通过数据库就能完成,但是仍有一部分读操作(缓存访问不命中、缓存过期)和全部的写操作需要访问数据库,在网站的用户达到一定规模后,数据库因为负载压力过高而成为网站的瓶颈。

通常使用主从复制技术,只在主机上写数据,在从机上读数据

大型网站架构的演变过程

使用反向代理和CDN加速网站响应

随着网站业务不断发展,用户规模越来越大,由于中国复杂的网络环境,不同地区的用户访问网站时,速度差别也极大。有研究表明,网站访问延迟和用户流失率正相关,

网站访问越慢,用户越容易失去耐心而离开。为了提供更好的用户体验,留住用户,网站需要加速网站访问速度。主要手段有使用CDN和反向代理,如图所示:

大型网站架构的演变过程

CDN和反向代理的基本原理都是缓存,区别在于CDN部署在网络提供商的机房,使用户在请求网站服务时,可以从距离自己最近的网络提供商机房获取数据;而反向代理则部署在网站的中心机房,当用户请求到达中心机房后,首先访问的服务器是反向代理服务器,如果反向代理服务器中缓存着用户请求的资源,就将其直接返回给用户。

引入CDN后浏览器访问网站的流程

  1. 用户向浏览器提交域名
  2. 浏览器对域名进行解析,由于 CDN 对域名解析过程进行了调整,所以得到的是该域名对应的 CNAME 记录。
  3. 对 CNAME 再次进行解析,得到实际 IP 地址。在这次的解析中,会使用全局负载均衡 DNS 解析,也就是我们需要返回具体 IP 地址,需要根据地理位置信息以及所在的 ISP 来确定返回的结果,这个过程才能让身处不同地域、连接不同接入商的用户得到最适合自己访问的 CDN 地址,才能做到就近访问,从而提升速度。
  4. 得到实际的 IP 地址后,向服务器发出访问请求
  5. CDN 会根据请求的内容是否在本地缓存进行不同处理:
    • 如果存在,则直接返回结果
    • 如果不存在,则 CDN 请求源站,获取内容,然后再返回结果。

CDN 的几个关键技术

全局调度

全局调度是完成用户就近访问的第一步,我们需要根据用户地域、接入运营商以及 CDN 机房的负载情况去调度。前面两个调度因素需要一个尽可能精准的 IP 地址库,这是正确调用的前提。IP 地址库的维护是一个持续和变化的过程,并且调度的策略随着 CDN 机房的增加也会变化。除了距离,CDN 的负载也是调度中的一个影响因素。

缓存技术

如果 CDN 机房的请求命中率不高的话,那么起到的加速效果也是相对有限的。

要提升命中率,就需要 CDN 机房中有尽可能全面的数据,这就要求 CDN 机房的缓存容量要足够大,可以使用内存+SSD+机械硬盘的混合存储方式来提升整体的缓存容量,并且需要做好冷热数据的交换,在提升命中率时也尽量降低缓存的响应数据。

此外,当 CDN 的 cache 没有命中要回源加载数据时,合并同样数据的请求也是一个很重要的优化,这样可以减少重复的请求,降低源站的压力。

最后,新增、变更数据后的 CDN 预加载也是一个提升命中率的办法,也就是在没有请求进来时,CDN 主动去加载数据,做好准备。当然这个主动加载一般也需要源站有一个通知过来。

内容分发

内容分发主要是对内容全部在 CDN 上不用回源的数据的管理和分发,例如一些静态页面等。具体做法是在内容管理系统中进行编辑修改后,通过分发系统分发到各个 CDN 的节点上。分发的效率以及对分发文件一致性、正确性的校验是需要关注的点。

带宽优化

CDN 提供了内容加速,很多请求和浏览都压到了 CDN 上,那么如何能够比较有效地节省贷款是一个很重要的事情,因为这直接关系到流量成本。优化的思路是只返回必要的数据,用更好的压缩算法等。

我们可以利用 CDN 机房距离最终用户近的特点,让一些上传的工作从 CDN 接入,然后再从 CDN 传到源站,这一方面可以提升用户的上传速度,另一方面也很好地利用了从 CDN机房到源站的上行带宽。

使用分布式文件系统和分布式数据库系统

任何强大的单一服务器都满足不了大型网站持续增长的业务需求。数据库经过读写分离后,从一台服务器拆分成两台服务器,但是随着网站业务的发展依然不能满足需求,这时需要使用分布式数据库。文件系统也是一样,需要使用分布式文件系统,如图所示:

大型网站架构的演变过程

分布式数据库是网站数据库拆分的最后手段,只有在单表数据规模非常庞大的时候才使用。不到不得已时,网站更常用的数据库拆分手段是业务分库,将不同业务的数据库部署在不同的物理服务器上。

使用NoSQL和搜索引擎

随着网站业务越来越复杂,对数据存储和检索的需求也越来越复杂,网站需要采用一些非关系数据库技术如 NoSQL和非数据库查询技术如搜索引擎,如图所示:

大型网站架构的演变过程

NoSQL和搜索引擎都是源自互联网的技术手段,对可伸缩的分布式特性具有更好的支持。应用服务器则通过一个统一数据访问模块访问各种数据,减轻应用程序管理诸多数据源的麻烦。

业务拆分

大型网站为了应对日益复杂的业务场景,通过使用分而治之的手段将整个网站业务分成不同的产品线,如大型购物交易网站就会将首页、商铺、订单、买家、卖家等拆分成不同的产品线,分归不同的业务团队负责。

具体到技术上,也会根据产品线划分,将一个网站拆分成许多不同的应用,每个应用独立部署维护。应用之间可以通过一个超链接建立关系(在首页上的导航链接每个都指向不同的应用地址),也可以通过消息队列进行数据分发,当然最多的还是通过访问同一个数据存储系统来构成一个关联的完整系统,如图所示。

大型网站架构的演变过程

分布式服务

随着业务拆分越来越小,存储系统越来越庞大,应用系统的整体复杂度呈指数级增加,部署维护越来越困难。由于所有应用要和所有数据库系统连接,在数万台服务器规模的网站中,这些连接的数目是服务器规模的平方,导致存数据库接资源不足,拒绝服务。

既然每一个应用系统都需要执行许多相同的业务操作,比如用户管理、商品管理等,那么可以将这些共用的业务提取出来,独立部署。由这些可复用的业务连接数据库,提供共用业务服务,而应用系统只需要管理用户界面,通过分布式服务调用共用业务服务完成具体业务操作,如图所示:

大型网站架构的演变过程

原创文章,作者:彭晨涛,如若转载,请注明出处:https://www.codetool.top/article/%e5%a4%a7%e5%9e%8b%e7%bd%91%e7%ab%99%e6%9e%b6%e6%9e%84%e7%9a%84%e6%bc%94%e5%8f%98%e8%bf%87%e7%a8%8b/

发表评论

电子邮件地址不会被公开。