大型网站架构设计及技术总纟吉.doc

大型网站架构设计及技术总纟吉.doc大型网站架构设计及技术总纟吉
篇一：大型站架构设计及技术总结
大型站架构设计及技术总结
随着中国大型IT企业信息化速度的加快，大部分应用 的数据量和访问量都急剧增加，大型企业站正面临性能和高 数据访问量的压力，而且对存储、安全以及信息检索等等方 面都提出了更高的要求?？
本文中，我想通过几个国外大型IT企业及站的成功案 例，从Web技术人员角度探讨如何积极地应对国内大型站即 将面临的扩展（主要是技术方面，而较少涉及管理及营销等 方面）矛盾。
一、国外大型IT站的成功之道
（一）MySpace
今天，MySpace已经成为全球众口皆碑的社区站之王。 尽管一流和营销和管理经验自然是每个IT企业取得成功的 首要因素，但是本节中我们却抛弃这一点，而主要着眼于探 讨在数次面临系统扩张的紧急关头MySpace是如何从技术方 面采取应对策略的。
第一代架构一添置的Web服务器
MySpace最初的系统很小，只有两台Web服务器（分担
处理用户请求的工作量）和一个数据库服务器（所有数据都 存储在这一个地方）。那时使用的是Dell双CPU、4G内存的 系统。在早期阶段，MySpace基本是通过添置Web服务器来 对付用户暴增问题的。但到在20XX年早期，在MySpace用 户数增长到五十万后，其数据库服务器已经开始疲于奔命了。
第二代架构一增加数据库服务器
范文写作与增加Web服务器不同，增加数据库并没那么 简单。如果一个站点由多个数据库支持，设计者必须考虑的 是，如何在保证数据一致性的前提下让多个数据库分担压力。
MySpace运行在三个SQL Server数据库服务器上 个 为主，所有的新数据都向它提交，然后由它复制到其它两个； 另两个数据库服务器全力向用户供给数据，用以在博客和个 人资料栏显示。这种方式在一段时间内效果很好一一只要增 加数据库服务器，加大硬盘，就可以应对用户数和访问量的 增加。
这一次的数据库架构按照垂直分割模式设计，不同的数 据库服务于站点的不同功能，如登录、用户资料和博客。垂 直分割策略利于多个数据库分担访问压力，当用户要求增加 新功能时，MySpace只需要投入新的数据库加以支持。在账 户到达二百万后，MySpace还从存储设备与数据库服务器直 接交互的方式切换到SAN （存储区域络）一用高带宽、专门
设计的络将大量磁盘存储设备连接在一起，而数据库连接到 SANo这项措施极大提升了系统性能、正常运行时间和可靠 性。然而，当用户继续增加到三百万后，垂直分割策略也变 得难以维持下去。
第三代架构一转到分布式计算架构
几经折腾，最终，MySpace将目光移到分布式计算架构 ——它在物理上分布的众多服务器，整体必须逻辑上等同于 单台机器。拿数据库来说，思想汇报专题就不能再像过去那 样将应用拆分，再以不同数据库分别支持，而必须将整个站 点看作一个应用。现在，数据库模型里只有一个用户表，支 持博客、个人资料和其他核心功能的数
据都存储在相同数据库。
既然所有的核心数据逻辑上都组织到一个数据库，那么 MySpace必须找到新的办法以分担负荷 显然，运行在普 通硬件上的单个数据库服务器是无能为力的。这次，不再按 站点功能和应用分割数据库，MySpace开始将它的用户按每 百万一组分割，然后将各组的全部数据分别存入独立的SQL Server实例。目前，MySpace的每台数据库服务器实际运行 两个SQL Server实例，也就是说每台服务器服务大约二百 万用户。据MySpace的技术人员说，以后还可以按照这种模 式以更小粒度划分架构，从而优化负荷分担。
第四代架构一求助于微软方案
20XX年早期，账户达到九百万，MySpace开始用微软的 C#编写程序。在收到一定成效后，MySpace开始大规模迁移 到。
账户达到一千万时，MySpace再次遭遇存储瓶颈问题。 SAN的引入解决了早期一些性能问题，但站点目前的要求已 经开始周期性超越SAN的I/O容量——即它从磁盘存储系统 读写数据的极限速度。
最全面的写作站第五代架构一增加数据缓存层并转到 支持64位处理器的SQL Serv（转 载 于：：大型站架构设计 及技术总结）er 20XX年春天，MySpace账户达到一千七百万， MySpace又启用了新的策略以减轻存储系统压力，即增加数 据缓存层一一位于Web服务器和数据库服务器之间，其唯一 职能是在内存中建立被频繁请求数据对象的副本，如此一来, 不访问数据库也可以向Web应用供给数据。
20XX年中期，服务账户数达到两千六百万时，MySpace 因为我们对内存的渴求而切换到了还处于beta测试的支持 64位处理器的SQL Server 20XX年再次将配置标准提升到 64G