ITeye博客

cenwenchu

cenwenchu · 共 136 篇文章

异步模式下的Web请求(技术介绍篇)

Author:放翁(文初) Date: 2010/4/14 Email:fangweng@taobao.com 缘起 早在两年前做开放平台的时候,由于平台的特质,就开始寻求对于Web请求异步的解决方案,当时Jetty和Tomcat都在最新的版本中集成类似于Comet和Asyn Process的功能,但经过测试,效果不佳,因此也没有再深入去了解其中的一些设计理念。时隔两年,依然在做开放平台,但当研究twitter和facebook api的时候,发现已经有了Streaming 模式的Web请求处理模式,由此又再次的去了解今天,在Servlet3规范已经逐渐成熟的情况下,容器,开源项目对于Web…

2010-04-20 08:50 · [网站分类]1.网站首页原创Java技术区(对首页文章的要求: 原创、高质量、经过认真思考并精心写作。BlogJava管理团队会对首页的文章进行管理。) · 评论(0)

Q1技术点滴

Author:放翁(文初) Date:2010/4/2 过年到现在还没有更新过blog,就和年前说的一样,到了淘宝就要真的踏实做实事了(起码Q3前)。和以前在阿软不同的是现在更加关注产品的设计和实现,对于新技术的尝试缺少了一些空间和时间。可以拿程序员对新技术的追求做个类比,就好比结婚前的浪漫,而到了你真的结婚有了家庭和小孩,那需要的是更多的责任感和务实的工作。当然如果生活成为一种生存,那么就失去了意义,如何在责任和浪漫之间找到平衡点,是一个技术人员成长的挑战。我们不可能永远是一个长不大的小孩,也不会是老气横秋的中年男人。有点废话了,言归正传,谈一下这年后短短的一个多月的工作心得,一点分享,一…

2010-04-02 02:26 · [网站分类]1.网站首页原创Java技术区(对首页文章的要求: 原创、高质量、经过认真思考并精心写作。BlogJava管理团队会对首页的文章进行管理。) · 评论(1)

普通程序员的2009

过了0点了,现在是我”出炉”31年零一天了。好几次都想写关于2009的总结,但是写了一些又放弃了。这一年经历太多,收获很多,也学会很多,也总算是成熟了。 今天给TOP团队的同学做了年前最后一次分享,主要是把TOP服务控制的内容全部重新梳理后,重新全局的介绍了一下。虽然还是大家自愿来的方式,但是我邀请了除了研发以外其他的几个团队。我的文档很早就发出去了,但是我知道90%的同学不会去仔细看,因为大家总是在“忙”。而我这次分享的目的就是让大家在今年最后的几天里面,停下来,看一看,自己到底在忙什么,如何才能少“盲”,如何才能够用“先见之明”来逐渐减少修补的工作。 TOP团队在淘宝的众多团队中比较特殊…

2010-01-29 01:34 · [网站分类]3.非技术区 · 评论(0)

优化杂谈

优化杂谈 Author :放翁 Blog: http://blog.csdn.net/cenwenchu79/ 当应用遇到规模化问题的时候,就是考虑性能优化的时候了。今天同事和我聊起了NIO在客户端的使用与BIO有什么优势,也勾起了我前一阵子和其他同学交流优化的一些想法,纯粹个人的一点想法。 CPU利用率和Load 在过去做压力测试的时候,我们经常会关注两个指标,CPU和Load。有同学觉得CPU利用率上去了Load肯定也上去了,Load上去了CPU利用率同样会上去。但是在一些需要优化的场景下,常常会看到Load很高,CPU利用率却可能比较低(多核更是可能出现分配不均的情况)。Load其实就…

2010-01-27 01:45 · [网站分类]1.网站首页原创Java技术区(对首页文章的要求: 原创、高质量、经过认真思考并精心写作。BlogJava管理团队会对首页的文章进行管理。) · 评论(0)

基于MapReduce的配置型日志分析组件

基于MapReduce的配置型日志分析组件 Author:放翁(文初) Email:fangweng@taobao.com Blog: http://blog.csdn.net/cenwenchu79/ 目录 需求场景 组件功能设计关键点 设计点分析 分析模型抽象 分析实体抽象: 分析流程抽象: 关键路径任务分割 分析过程生命周期定义: 基于命令行方式执行阶段性任务 单任务并行处理化 低耦合多机协作 需求场景 从海量的访问日志中分析得到系统健康情况,业务增长趋势。 组件功能设计关键点 图1 组件功能设计点描述图 这个组件与传统的MapReduce框架(例如Hadoop)的不同之处在于: 1.…

2010-01-12 21:58 · [网站分类]1.网站首页原创Java技术区(对首页文章的要求: 原创、高质量、经过认真思考并精心写作。BlogJava管理团队会对首页的文章进行管理。) · 评论(0)

写在MapReduce问题的回复后

中午左右收到一个看我blog的朋友的邮件,最近他在研究mapreduce,然后想用hadoop来做一些工作,不过遇到了一些问题,我这边也贴一下他的几个问题,同时觉得自己把自己的一些看法分享一下,当然只是自己的一些想法,也许对新学习的同学有帮助。 问题: 从Map(K,V)的方式来看,难道mapreduce只能做统计? 目前我想除了日志分析之类的功能外,还想做一个全文检索的功能,类似windows查询一下,通过关键字查询文件的位置即可(可能还要根据匹配度做排序),这个我很迷茫不知道怎么下手,痛苦ing 你的实践是一个单机模式,如果用户把一个1G的log已经上传到hdfs了,此时分割工作已经完成…

2009-12-09 13:09 · [网站分类]1.网站首页原创Java技术区(对首页文章的要求: 原创、高质量、经过认真思考并精心写作。BlogJava管理团队会对首页的文章进行管理。) · 评论(0)

Lazy Request Parameter Parser

Author:放翁(文初) Email:fangweng@taobao.com Blog:http://blog.csdn.net/cenwenchu79 当前问题: 1. 不小比重的Rest请求都是无效请求,全部接纳数据消耗比较多的时间。 2. Multipart类型的大文件流请求无法做到合理快速过滤。(参数错误请求,数据文件过多请求,文件大小过大请求) 归结来说,TOP平台处理的服务在解析参数时比较消耗时间和带宽(客户端网络速度慢导致传输字节流比较慢,文件比较大导致带宽占用严重) 处理方式: 通过自行解析字节流方式来lazy化处理请求,减少无效请求对于解析参数时间消耗(导致web容器连接…

2009-12-08 01:51 · [网站分类]1.网站首页原创Java技术区(对首页文章的要求: 原创、高质量、经过认真思考并精心写作。BlogJava管理团队会对首页的文章进行管理。) · 评论(0)

程序员是不是只在乎自己的一亩三分地

Author:放翁(文初) Email:fangweng@taobao.com Blog:http://blog.csdn.net/cenwenchu79 其实想说这句话很久了,和很多同事接触,有时候或多或少的都会发现大家会陷入在自己的一亩三分地里面. 主要表现得症状 1. PD的需求就是目标,踏实的实现,不懂的就猜。 2. 经验盖过一切,设计系统就是要够完备够复杂。 从开发人员角度来看,第一种人多半比较有自己的想法,同时也有不少的工作经验,同时可能对技术比较着迷。另一种人多半是刚刚工作或者经验不足,要么就是习惯性把工作当任务,而不是爱好,写程序也就是一份赚钱的活。但看起来其实各自都在自己的…

2009-12-08 00:54 · [网站分类]1.网站首页原创Java技术区(对首页文章的要求: 原创、高质量、经过认真思考并精心写作。BlogJava管理团队会对首页的文章进行管理。) · 评论(0)

2009的选择和工作总结大纲

今年blog更新的速度比去年慢很多,当然最大的原因就是工作的转变。当选择留在云公司还是去淘宝,自己做了很快的抉择,去淘宝。其实在阿软的后面这一年,对自己来说是一个技术提升的阶段,工作任务不紧,技术预研范围较大,但对于自己这么一个已经到了30的人来说,应该是把技术转变为产品的时候了,因此义无反顾地选择了TOP作为我新的开端。 其实每个人都会有自己不同的阶段,任何阶段都有自己的目标,同时当你发现在一个阶段停留很久,都没有什么突破,或者渐渐失去目标的时候,那么就需要考虑如何找到新的起点。对我来说,技术追求和提升是没有止尽的,但是需要真正的将所学的作出一点实在的产品,同时在参与产品团队的过程中,学会…

2009-11-27 00:58 · [网站分类]1.网站首页原创Java技术区(对首页文章的要求: 原创、高质量、经过认真思考并精心写作。BlogJava管理团队会对首页的文章进行管理。) · 评论(0)

常用模式的细节问题看设计稳定性

Author : 岑文初(淘宝花名:放翁) Email: fangweng@taobao.com Blog: http://blog.csdn.net/cenwenchu79 这部分内容是我前个礼拜作内部分享的一部分,是挑了大家在日常中经常使用的生产者消费者模式作了一个细节问题的分析来讲述关于系统设计中的一些问题,其实在我前面的救火经验分享里面也有部分的介绍,不过那些比较抽象一点,需要有实际的工作经历的同学才会体会的到,而这里就具体的针对某一个特定场景作了分析. 图 1 生产者消费者模式 生产者和消费者模式在我们日常生产的代码里面应该出现的很频繁,但是有一些细节足以导致这种模式漏洞百出,同时…

2009-11-10 01:52 · [网站分类]1.网站首页原创Java技术区(对首页文章的要求: 原创、高质量、经过认真思考并精心写作。BlogJava管理团队会对首页的文章进行管理。) · 评论(0)

MapReduce“单机版”日志分析实践点滴

Author:放翁(文初) Email: fangweng@taobao.com Blog: http://blog.csdn.net/cenwenchu79 闲话:(如果图片看不清楚可以看另一个blog,因为图片在家,这里上传就只能转贴了) 为什么又叫做什么…的点滴,首先现在写程序就是练手,不论自己经历了多少,如果想成为一个好的P,那么就要持续的去学习,去写,当写出来的东西总是一个样子,那就要去学习一下,当觉得整天飘飘然的和同行在胡侃,那么就要静下心来写点东西。因此我的分享总是这个点滴那个点滴的,其实大家写程序都大同小异,最宝贵的不是一个系统如何成功,而是在设计和实现这个系统的过程中,有哪…

2009-10-30 12:27 · [网站分类]1.网站首页原创Java技术区(对首页文章的要求: 原创、高质量、经过认真思考并精心写作。BlogJava管理团队会对首页的文章进行管理。) · 评论(0)

上海校招归来

上周六下午一直到今天下午一直都在上海参加阿里巴巴集团的学校招聘,我和淘宝的同学一起在淘宝的场子里面见了不少的同学。 有以下几点经历: 1.这次校招好像遇到研究生远多于本科生。不知道本科生都跑哪儿去了,难道都去考研了,我还真期待多一些本科生来。 2.非名校的学生要远多于名校的学生。不知道是没有来还是都跑到集团研究院(云公司)或者b2b去了。其实年轻人么需要有创业激情的话就来淘宝吧,我这老年人为了重新找到自己25岁的感觉一头扎入到了淘宝,同时淘宝开放平台也会给各种层次的开发人员发展的空间,业务平台,基础平台,未来遇到的问题是国内甚至国外都尚未遇到的问题,电子商务的开放平台会带来很多问题和挑战,这…

2009-10-13 21:27 · 评论(0)

客户端NIO实践分析

引问:NIO在服务端的应用已经被广为熟悉,但是在客户端的使用,其实给予的指导并不多。同时在我看来,NIO在客户端使用就是原来的长连接模式加上事件驱动的框架,而相对于短连接池模式来说,性能是否真的在任何环境都那么突出,其实不然。 最近正好要优化TB的Cache客户端,原始代码是用NIO写的,但是效率不高,性能也一般,因此反而拖累了服务端的表现,在整个优化过程中,看了NIO2,也就是JDK7中比较突出的AIO,同时也经过反复优化和测试,其中对于NIO应用到客户端来谈一下自己的一些收获。 传统IO操作和NIO操作的区别 简单来说:1.对于数据处理由Stream方式转变称为了Block方式。2.事件…

2009-09-24 08:57 · [网站分类]1.网站首页原创Java技术区(对首页文章的要求: 原创、高质量、经过认真思考并精心写作。BlogJava管理团队会对首页的文章进行管理。) · 评论(4)

应用架构设计“防火”经验分享

应用架构设计“防火”经验分享 Author : 岑文初(淘宝花名:放翁) Email: fangweng@taobao.com Blog: http://blog.csdn.net/cenwenchu79 Date: 2009-08-26 刚从阿软到淘宝不久,现在主要负责TOP平台的技术框架设计,同时要肩负“救火”和“防火”的工作,也需要培养团队的同学能够有“防火”意识,减少“救火”次数,因此今天下午花了一点时间,也没于写任何的PPT,就直接将自己想的起来的一些自己认为应用架构设计“防火”知识做了一下事例分享,这里也想记录下来给更多的同学分享一下,当然很多都是老生常谈的常识,但是有时候不经意…

2009-08-27 00:59 · [网站分类]1.网站首页原创Java技术区(对首页文章的要求: 原创、高质量、经过认真思考并精心写作。BlogJava管理团队会对首页的文章进行管理。) · 评论(0)

工作随记

今天是转岗到淘宝的第七天,也算是一周吧,期待来这个团队已经有快大半年了,这次阿软的重组给了一个机会,过去的就过去吧,不再回首有任何的抱怨和遗憾,需要面对的是新的将来。 很奇怪,来到淘宝,都是熟人,Boss是早就相识的菲青,TOP团队的自雪,凤先,秀芳及我不认识但是认识我的其他同学都很热情,运营,PD,OST都是以前阿软的老同学,还有其他几个团队的朋友,感觉回到了家,而不是离开了家。 原先来淘宝是比较坚决的,同时也得到王博士的支持,心里还是比较有底的,不过就是担心过来以后和淘宝已有的团队合作可能会有磨合期,因为担心有“小圈子”。结果却是很出乎我的意料,TOP的人就和做的事情一样,是一批开放的人…

2009-08-12 23:16 · [网站分类]3.非技术区 · 评论(0)