51CTO专访淘宝清无:漫谈Nginx服务器与Lua语言

原创
系统
在今年刚刚结束的O'Reilly Velocity China 2011会议上,51CTO编辑有幸采访到了目前就职淘宝的王晓哲。王晓哲花名清无,一淘-数据平台与产品部技术专家。任职于数据平台部-量子恒道组,负责量子统计整体技术架构搭建。清无为大家介绍了自己在Nginx上的心路历程,并且分享了对Lua语言的使用心得。

说到Web服务器,也许你***时间会想到Apache,也许你会想到Nginx。虽然说Apache依然是Web服务器的老大,但是在全球前1000大Web服务器当中,22.4%使用NGINX。这些服务器包括诸如Facebook、Hulu和WordPress之类的网络巨头使用的服务器。在今年刚刚结束的O'Reilly Velocity China 2011会议上,51CTO编辑有幸采访到了目前就职淘宝的王晓哲。在《淘宝网Nginx定制开发实战》的主题演讲上,王晓哲与朱照远为大家分享淘宝网是怎么通过定制开发Nginx服务器内核以及开发有效的模块达到亚洲***电子商务网站的经验。

[[53338]] 

王晓哲:花名清无 一淘-数据平台与产品部技术专家。任职于数据平台部-量子恒道组,负责量子统计整体技术架构搭建。对海量数据处理、高性能高可用的Web服务相关技术有浓厚兴趣。

51CTO张浩:您从什么时候开始接触Nginx的?您是否接触过其他的服务器,比如Apache或者IIS?

清无:我是2008年开始接触Nginx的,当时在雅虎中国做开放平台的相关开发,非常看中Web服务器的大并发服务能力,对Apache2Event模型、lighttpd和Nginx进行调研比较后,才选择了性能更为优异的Nginx进行开发和使用。除了IIS以外,Linux平台上生产级的开源Web服务器我基本上都接触过,如apache/lighttpd/Nginx/cherokee等。

51CTO张浩:您在最初在Nginx上工作时使用的是什么语言?在您的分享中非常看好Lua语言,您又是从何时开始接触Lua语言的?

清无:最初在应用程序侧使用的是PHP,但在开放平台的实际业务中对PHP的并发能力很不满,就一直在考虑如何提升业务侧在这方面的表现。2009年进入淘宝后量子统计也有类似的诉求,经过多方比较选择了将Lua解释器嵌入Nginx的方案,也是从那时开始接触Lua语言。

51CTO张浩:其实很多开发者对Lua语言的了解来自《愤怒的小鸟》这款经典游戏,作为在服务器端工作的人,您认为Lua语言作为Web服务器中的胶水语言与在移动应用开发中有哪些不同?既然我们对Lua语言的了解是从《愤怒的小鸟开始》那么您有没有进行过相关开发呢?

清无:从基本结构来说,移动应用中以UI事件为主体的事件循环同Web服务器中以I/O事件为主体的事件循环有惊人的相似之处,差别无非是前者所处理的事件大部分由用户操作所产生,而后者处理的事件则大部分由外设(主要是网卡)产生。移动应用中使用的Lua开发框架通常还是标准的“填空”模式,即开发人员要站在系统事件循环的视角上,显式将业务逻辑切分为多块,用Lua脚本去编写若干回调函数分别实现各块,再由事件循环在合适的时机去调用它们完成相关操作。而ngx_lua通过协程封装I/O操作之后,让开发人员可以站在业务逻辑的视角上以自然的线性逻辑书写代码,由底层的ngx_lua将其隐式转换为多块回调的形式运行。

除此之外我觉得二者差别不大,移动平台上硬件机能差、Web服务器上并发处理请求多,二者都需要开发人员对运行性能和资源占用保持很高的敏感性。

虽然我个人正在使用Lua语言,但说到移动应用的开发我个人只是尝试过一些iOS上的Lua开发框架,没有实际发布过应用。

51CTO张浩:相比PHP,Lua语言在整个架构上的优势在哪里?换句话说是Lua语言哪些地方吸引了您?

清无:Lua的紧凑、快速和内建协程支持是最吸引我的地方,前2点是实现高并发服务的基础,后1点则保证了我们可以将回调式异步操作转变为隐式异步操作,在保证并发服务能力的同时极大地降低了业务逻辑实现成本。

51CTO张浩:现在Nginx的增长非常迅速,有数据表示在世界上1000台服务器中有22.4%使用Nginx。这些服务器包括诸如Facebook、Hulu和WordPress之类的网络巨头使用的服务器。您觉得Nginx与Apache相比优势在哪里?比如在压力承载与开发维护上?

清无:在Apache漫长的发展过程中,开发团队和社区产出了相当丰富的扩展模块,这些模块是Apache流行的重要原因。遗憾的是它们现在也是阻挠Apache转型的***障碍,可以说是成也模块、败也模块。因为Web服务器的扩展模块总会深度嵌入请求处理过程的各个层面,服务模型一旦确定,为了保证扩展模块兼容性,就无法再做大的修改。Apache从一开始选择的是多进程服务模型(Prefork),同时得益于设计明晰的内部处理流程,使得此模型下模块非常容易开发;随着互联网的迅猛发展,Apache开发团队也意识到了多进程模型的并发服务瓶颈并着手改进,先后开发出了Worker(thread)服务模型和Event(Leader-Follower)服务模型。但无论哪个模型,都是为了***程度地兼容原有扩展模块而设计,保留了阻塞式请求处理流程,这就相当于自己为并发服务能力设置了一层天花板。

相比Apache,Nginx就没有这些历史包袱,有机会从头做正确的事,它借鉴了Apache中良好的内部流程设计,同时摒弃了阻碍性能进一步提升的阻塞式请求处理方案,加上Igor本人对开发高性能程序方面有丰富经验,就造就了Nginx这样一个后起之秀。

在内核上同Apache相比,Nginx更为精巧,单机并发处理能力要强很多,但缺点是难以开发复杂的扩展模块和深度定制代码,这是选择非阻塞I/O复用服务模型的缺点。我们希望后续能通过加强ngx_lua对Nginx核心的控制能力来彻底解决Nginx扩展困难的问题。

51CTO张浩:在本期的Velocity上的一个主要基调就是为用户***的体验,那么作为架构师来讲在进行架构设计的时候需要注意哪些方面的细节?

清无:作为技术架构师,快速、稳定是架构设计时追求的2个***目标,也是为用户创造舒适体验的基本前提。设计是一个权衡的过程,没有***的设计,只有最合适的设计,在设计的过程中大致上需要注意四个方面:

  1. 尽量减少数据通路上的不必要环节,多一个环节就多一分出错可能
  2. 同时关注运行效率和开发效率,视具体场景有所侧重
  3. 正视而非掩盖系统异常,要对依赖系统故障时的自动处理机制有较周全的考虑
  4. 尽量将系统组件的内部运行状态以监控接口形式暴露出来,让运维工作白盒化

把握好以上要点基本上就可以设计出符合业务需求的系统架构。

51CTO张浩:您从参加工作到现在***的感触是什么?您对基层的运维开发人员在职业规划上又有哪些建议呢?

清无:“聚焦”才是硬道理。人的总精力有限,投入的方向多,摊到各个方向上的精力就少,更难出成绩。如果想在技术领域有所作为,就要善于从日常工作中发现问题并思考解决方案,及时总结经验,多花时间学习基础理论,在熟悉了所在领域的基本状况后,可以选择一个方向重点投入精力进行研究积累,只要时间投入够多,总能独树一帜。

责任编辑:张浩 来源: 51CTO.com
相关推荐

2012-07-13 10:57:46

Nginxlua

2015-09-29 17:06:24

戴尔

2011-11-01 12:15:16

TechEd 2011

2011-09-08 13:50:51

51cto 51CTO

2012-07-13 09:58:06

WEBWEB前端性能优化

2011-09-08 13:26:27

51cto 51CTO

2010-08-26 08:57:04

AndroidAndroid开发

2012-07-13 02:22:44

褚霸去IOEADC 2012

2011-07-25 10:24:01

2011-08-01 10:07:38

2010-06-05 13:24:20

IT服务

2009-11-13 04:23:12

云计算Gartner专访

2011-01-04 15:29:30

开发技术

2011-12-23 16:13:25

2011-09-08 14:24:57

51cto 51CTO

2011-05-20 08:56:55

Office应用访谈金山

2009-08-07 11:45:58

云计算SOA虚拟化

2014-03-05 18:57:31

2010-12-10 13:21:47

51CTO博客大赛

2009-07-10 14:28:38

点赞
收藏

51CTO技术栈公众号