2008年2月29日星期五

理解http session的好文章-Session详解

作者:郎云鹏(dev2dev ID: hippiewolf)(http://dev2dev.bea.com.cn/bbs/jishudata/ArticleShow.jsp?Id=10)

摘要:虽然session机制在web应用程序中被采用已经很长时间了,但是仍然有很多人不清楚session机制的本质,以至不能正确的应用这一技术。本文将详细讨论session的工作机制并且对在Java web application中应用session机制时常见的问题作出解答。
目录:一、术语session二、HTTP协议与状态保持三、理解cookie机制四、理解session机制五、理解javax.servlet.http.HttpSession六、HttpSession常见问题七、跨应用程序的session共享八、总结参考文档
一、术语session在我的经验里,session这个词被滥用的程度大概仅次于transaction,更加有趣的是transaction与session在某些语境下的含义是相同的。
session,中文经常翻译为会话,其本来的含义是指有始有终的一系列动作/消息,比如打电话时从拿起电话拨号到挂断电话这中间的一系列过程可以称之为一个session。有时候我们可以看到这样的话“在一个浏览器会话期间,...”,这里的会话一词用的就是其本义,是指从一个浏览器窗口打开到关闭这个期间①。最混乱的是“用户(客户端)在一次会话期间”这样一句话,它可能指用户的一系列动作(一般情况下是同某个具体目的相关的一系列动作,比如从登录到选购商品到结账登出这样一个网上购物的过程,有时候也被称为一个transaction),然而有时候也可能仅仅是指一次连接,也有可能是指含义①,其中的差别只能靠上下文来推断②。
然而当session一词与网络协议相关联时,它又往往隐含了“面向连接”和/或“保持状态”这样两个含义,“面向连接”指的是在通信双方在通信之前要先建立一个通信的渠道,比如打电话,直到对方接了电话通信才能开始,与此相对的是写信,在你把信发出去的时候你并不能确认对方的地址是否正确,通信渠道不一定能建立,但对发信人来说,通信已经开始了。“保持状态”则是指通信的一方能够把一系列的消息关联起来,使得消息之间可以互相依赖,比如一个服务员能够认出再次光临的老顾客并且记得上次这个顾客还欠店里一块钱。这一类的例子有“一个TCP session”或者“一个POP3 session”③。
而到了web服务器蓬勃发展的时代,session在web开发语境下的语义又有了新的扩展,它的含义是指一类用来在客户端与服务器之间保持状态的解决方案④。有时候session也用来指这种解决方案的存储结构,如“把xxx保存在session里”⑤。由于各种用于web开发的语言在一定程度上都提供了对这种解决方案的支持,所以在某种特定语言的语境下,session也被用来指代该语言的解决方案,比如经常把Java里提供的javax.servlet.http.HttpSession简称为session⑥。
鉴于这种混乱已不可改变,本文中session一词的运用也会根据上下文有不同的含义,请大家注意分辨。在本文中,使用中文“浏览器会话期间”来表达含义①,使用“session机制”来表达含义④,使用“session”表达含义⑤,使用具体的“HttpSession”来表达含义⑥
二、HTTP协议与状态保持HTTP协议本身是无状态的,这与HTTP协议本来的目的是相符的,客户端只需要简单的向服务器请求下载某些文件,无论是客户端还是服务器都没有必要纪录彼此过去的行为,每一次请求之间都是独立的,好比一个顾客和一个自动售货机或者一个普通的(非会员制)大卖场之间的关系一样。
然而聪明(或者贪心?)的人们很快发现如果能够提供一些按需生成的动态信息会使web变得更加有用,就像给有线电视加上点播功能一样。这种需求一方面迫使HTML逐步添加了表单、脚本、DOM等客户端行为,另一方面在服务器端则出现了CGI规范以响应客户端的动态请求,作为传输载体的HTTP协议也添加了文件上载、cookie这些特性。其中cookie的作用就是为了解决HTTP协议无状态的缺陷所作出的努力。至于后来出现的session机制则是又一种在客户端与服务器之间保持状态的解决方案。
让我们用几个例子来描述一下cookie和session机制之间的区别与联系。笔者曾经常去的一家咖啡店有喝5杯咖啡免费赠一杯咖啡的优惠,然而一次性消费5杯咖啡的机会微乎其微,这时就需要某种方式来纪录某位顾客的消费数量。想象一下其实也无外乎下面的几种方案:1、该店的店员很厉害,能记住每位顾客的消费数量,只要顾客一走进咖啡店,店员就知道该怎么对待了。这种做法就是协议本身支持状态。2、发给顾客一张卡片,上面记录着消费的数量,一般还有个有效期限。每次消费时,如果顾客出示这张卡片,则此次消费就会与以前或以后的消费相联系起来。这种做法就是在客户端保持状态。3、发给顾客一张会员卡,除了卡号之外什么信息也不纪录,每次消费时,如果顾客出示该卡片,则店员在店里的纪录本上找到这个卡号对应的纪录添加一些消费信息。这种做法就是在服务器端保持状态。
由于HTTP协议是无状态的,而出于种种考虑也不希望使之成为有状态的,因此,后面两种方案就成为现实的选择。具体来说cookie机制采用的是在客户端保持状态的方案,而session机制采用的是在服务器端保持状态的方案。同时我们也看到,由于采用服务器端保持状态的方案在客户端也需要保存一个标识,所以session机制可能需要借助于cookie机制来达到保存标识的目的,但实际上它还有其他选择。
三、理解cookie机制 cookie机制的基本原理就如上面的例子一样简单,但是还有几个问题需要解决:“会员卡”如何分发;“会员卡”的内容;以及客户如何使用“会员卡”。
正统的cookie分发是通过扩展HTTP协议来实现的,服务器通过在HTTP的响应头中加上一行特殊的指示以提示浏览器按照指示生成相应的cookie。然而纯粹的客户端脚本如JavaScript或者VBScript也可以生成cookie。
而cookie的使用是由浏览器按照一定的原则在后台自动发送给服务器的。浏览器检查所有存储的cookie,如果某个cookie所声明的作用范围大于等于将要请求的资源所在的位置,则把该cookie附在请求资源的HTTP请求头上发送给服务器。意思是麦当劳的会员卡只能在麦当劳的店里出示,如果某家分店还发行了自己的会员卡,那么进这家店的时候除了要出示麦当劳的会员卡,还要出示这家店的会员卡。
cookie的内容主要包括:名字,值,过期时间,路径和域。其中域可以指定某一个域比如.google.com,相当于总店招牌,比如宝洁公司,也可以指定一个域下的具体某台机器比如www.google.com或者froogle.google.com,可以用飘柔来做比。路径就是跟在域名后面的URL路径,比如/或者/foo等等,可以用某飘柔专柜做比。路径与域合在一起就构成了cookie的作用范围。如果不设置过期时间,则表示这个cookie的生命期为浏览器会话期间,只要关闭浏览器窗口,cookie就消失了。这种生命期为浏览器会话期的cookie被称为会话cookie。会话cookie一般不存储在硬盘上而是保存在内存里,当然这种行为并不是规范规定的。如果设置了过期时间,浏览器就会把cookie保存到硬盘上,关闭后再次打开浏览器,这些cookie仍然有效直到超过设定的过期时间。
存储在硬盘上的cookie可以在不同的浏览器进程间共享,比如两个IE窗口。而对于保存在内存里的cookie,不同的浏览器有不同的处理方式。对于IE,在一个打开的窗口上按Ctrl-N(或者从文件菜单)打开的窗口可以与原窗口共享,而使用其他方式新开的IE进程则不能共享已经打开的窗口的内存cookie;对于Mozilla Firefox0.8,所有的进程和标签页都可以共享同样的cookie。一般来说是用javascript的window.open打开的窗口会与原窗口共享内存cookie。浏览器对于会话cookie的这种只认cookie不认人的处理方式经常给采用session机制的web应用程序开发者造成很大的困扰。
下面就是一个goolge设置cookie的响应头的例子HTTP/1.1 302 FoundLocation: http://www.google.com/intl/zh-CN/Set-Cookie: PREF=ID=0565f77e132de138:NW=1:TM=1098082649:LM=1098082649:S=KaeaCFPo49RiA_d8; expires=Sun, 17-Jan-2038 19:14:07 GMT; path=/; domain=.google.comContent-Type: text/html

四、理解session机制session机制是一种服务器端的机制,服务器使用一种类似于散列表的结构(也可能就是使用散列表)来保存信息。
当程序需要为某个客户端的请求创建一个session的时候,服务器首先检查这个客户端的请求里是否已包含了一个session标识 - 称为session id,如果已包含一个session id则说明以前已经为此客户端创建过session,服务器就按照session id把这个session检索出来使用(如果检索不到,可能会新建一个),如果客户端请求不包含session id,则为此客户端创建一个session并且生成一个与此session相关联的session id,session id的值应该是一个既不会重复,又不容易被找到规律以仿造的字符串,这个session id将被在本次响应中返回给客户端保存。
保存这个session id的方式可以采用cookie,这样在交互过程中浏览器可以自动的按照规则把这个标识发挥给服务器。一般这个cookie的名字都是类似于SEEESIONID,而。比如weblogic对于web应用程序生成的cookie,JSESSIONID=ByOK3vjFD75aPnrF7C2HmdnV6QZcEbzWoWiBYEnLerjQ99zWpBng!-145788764,它的名字就是JSESSIONID。
由于cookie可以被人为的禁止,必须有其他机制以便在cookie被禁止时仍然能够把session id传递回服务器。经常被使用的一种技术叫做URL重写,就是把session id直接附加在URL路径的后面,附加方式也有两种,一种是作为URL路径的附加信息,表现形式为http://...../xxx;jsessionid=ByOK3vjFD75aPnrF7C2HmdnV6QZcEbzWoWiBYEnLerjQ99zWpBng!-145788764另一种是作为查询字符串附加在URL后面,表现形式为http://...../xxx?jsessionid=ByOK3vjFD75aPnrF7C2HmdnV6QZcEbzWoWiBYEnLerjQ99zWpBng!-145788764这两种方式对于用户来说是没有区别的,只是服务器在解析的时候处理的方式不同,采用第一种方式也有利于把session id的信息和正常程序参数区分开来。为了在整个交互过程中始终保持状态,就必须在每个客户端可能请求的路径后面都包含这个session id。
另一种技术叫做表单隐藏字段。就是服务器会自动修改表单,添加一个隐藏字段,以便在表单提交时能够把session id传递回服务器。比如下面的表单
在被传递给客户端之前将被改写成
这种技术现在已较少应用,笔者接触过的很古老的iPlanet6(SunONE应用服务器的前身)就使用了这种技术。实际上这种技术可以简单的用对action应用URL重写来代替。
在谈论session机制的时候,常常听到这样一种误解“只要关闭浏览器,session就消失了”。其实可以想象一下会员卡的例子,除非顾客主动对店家提出销卡,否则店家绝对不会轻易删除顾客的资料。对session来说也是一样的,除非程序通知服务器删除一个session,否则服务器会一直保留,程序一般都是在用户做log off的时候发个指令去删除session。然而浏览器从来不会主动在关闭之前通知服务器它将要关闭,因此服务器根本不会有机会知道浏览器已经关闭,之所以会有这种错觉,是大部分session机制都使用会话cookie来保存session id,而关闭浏览器后这个session id就消失了,再次连接服务器时也就无法找到原来的session。如果服务器设置的cookie被保存到硬盘上,或者使用某种手段改写浏览器发出的HTTP请求头,把原来的session id发送给服务器,则再次打开浏览器仍然能够找到原来的session。
恰恰是由于关闭浏览器不会导致session被删除,迫使服务器为seesion设置了一个失效时间,当距离客户端上一次使用session的时间超过这个失效时间时,服务器就可以认为客户端已经停止了活动,才会把session删除以节省存储空间。
五、理解javax.servlet.http.HttpSessionHttpSession是Java平台对session机制的实现规范,因为它仅仅是个接口,具体到每个web应用服务器的提供商,除了对规范支持之外,仍然会有一些规范里没有规定的细微差异。这里我们以BEA的Weblogic Server8.1作为例子来演示。
首先,Weblogic Server提供了一系列的参数来控制它的HttpSession的实现,包括使用cookie的开关选项,使用URL重写的开关选项,session持久化的设置,session失效时间的设置,以及针对cookie的各种设置,比如设置cookie的名字、路径、域,cookie的生存时间等。
一般情况下,session都是存储在内存里,当服务器进程被停止或者重启的时候,内存里的session也会被清空,如果设置了session的持久化特性,服务器就会把session保存到硬盘上,当服务器进程重新启动或这些信息将能够被再次使用,Weblogic Server支持的持久性方式包括文件、数据库、客户端cookie保存和复制。
复制严格说来不算持久化保存,因为session实际上还是保存在内存里,不过同样的信息被复制到各个cluster内的服务器进程中,这样即使某个服务器进程停止工作也仍然可以从其他进程中取得session。
cookie生存时间的设置则会影响浏览器生成的cookie是否是一个会话cookie。默认是使用会话cookie。有兴趣的可以用它来试验我们在第四节里提到的那个误解。
cookie的路径对于web应用程序来说是一个非常重要的选项,Weblogic Server对这个选项的默认处理方式使得它与其他服务器有明显的区别。后面我们会专题讨论。
关于session的设置参考[5] http://e-docs.bea.com/wls/docs70/webapp/weblogic_xml.html#1036869
六、HttpSession常见问题(在本小节中session的含义为⑤和⑥的混合)
1、session在何时被创建一个常见的误解是以为session在有客户端访问时就被创建,然而事实是直到某server端程序调用HttpServletRequest.getSession(true)这样的语句时才被创建,注意如果JSP没有显示的使用 <%@page session="false"%> 关闭session,则JSP文件在编译成Servlet时将会自动加上这样一条语句HttpSession session = HttpServletRequest.getSession(true);这也是JSP中隐含的session对象的来历。
由于session会消耗内存资源,因此,如果不打算使用session,应该在所有的JSP中关闭它。
2、session何时被删除综合前面的讨论,session在下列情况下被删除a.程序调用HttpSession.invalidate();或b.距离上一次收到客户端发送的session id时间间隔超过了session的超时设置;或c.服务器进程被停止(非持久session)
3、如何做到在浏览器关闭时删除session严格的讲,做不到这一点。可以做一点努力的办法是在所有的客户端页面里使用javascript代码window.oncolose来监视浏览器的关闭动作,然后向服务器发送一个请求来删除session。但是对于浏览器崩溃或者强行杀死进程这些非常规手段仍然无能为力。
4、有个HttpSessionListener是怎么回事你可以创建这样的listener去监控session的创建和销毁事件,使得在发生这样的事件时你可以做一些相应的工作。注意是session的创建和销毁动作触发listener,而不是相反。类似的与HttpSession有关的listener还有HttpSessionBindingListener,HttpSessionActivationListener和HttpSessionAttributeListener。
5、存放在session中的对象必须是可序列化的吗不是必需的。要求对象可序列化只是为了session能够在集群中被复制或者能够持久保存或者在必要时server能够暂时把session交换出内存。在Weblogic Server的session中放置一个不可序列化的对象在控制台上会收到一个警告。我所用过的某个iPlanet版本如果session中有不可序列化的对象,在session销毁时会有一个Exception,很奇怪。
6、如何才能正确的应付客户端禁止cookie的可能性对所有的URL使用URL重写,包括超链接,form的action,和重定向的URL,具体做法参见[6]http://e-docs.bea.com/wls/docs70/webapp/sessions.html#100770
7、开两个浏览器窗口访问应用程序会使用同一个session还是不同的session参见第三小节对cookie的讨论,对session来说是只认id不认人,因此不同的浏览器,不同的窗口打开方式以及不同的cookie存储方式都会对这个问题的答案有影响。
8、如何防止用户打开两个浏览器窗口操作导致的session混乱这个问题与防止表单多次提交是类似的,可以通过设置客户端的令牌来解决。就是在服务器每次生成一个不同的id返回给客户端,同时保存在session里,客户端提交表单时必须把这个id也返回服务器,程序首先比较返回的id与保存在session里的值是否一致,如果不一致则说明本次操作已经被提交过了。可以参看《J2EE核心模式》关于表示层模式的部分。需要注意的是对于使用javascript window.open打开的窗口,一般不设置这个id,或者使用单独的id,以防主窗口无法操作,建议不要再window.open打开的窗口里做修改操作,这样就可以不用设置。
9、为什么在Weblogic Server中改变session的值后要重新调用一次session.setValue做这个动作主要是为了在集群环境中提示Weblogic Server session中的值发生了改变,需要向其他服务器进程复制新的session值。
10、为什么session不见了排除session正常失效的因素之外,服务器本身的可能性应该是微乎其微的,虽然笔者在iPlanet6SP1加若干补丁的Solaris版本上倒也遇到过;浏览器插件的可能性次之,笔者也遇到过3721插件造成的问题;理论上防火墙或者代理服务器在cookie处理上也有可能会出现问题。出现这一问题的大部分原因都是程序的错误,最常见的就是在一个应用程序中去访问另外一个应用程序。我们在下一节讨论这个问题。
七、跨应用程序的session共享常常有这样的情况,一个大项目被分割成若干小项目开发,为了能够互不干扰,要求每个小项目作为一个单独的web应用程序开发,可是到了最后突然发现某几个小项目之间需要共享一些信息,或者想使用session来实现SSO(single sign on),在session中保存login的用户信息,最自然的要求是应用程序间能够访问彼此的session。
然而按照Servlet规范,session的作用范围应该仅仅限于当前应用程序下,不同的应用程序之间是不能够互相访问对方的session的。各个应用服务器从实际效果上都遵守了这一规范,但是实现的细节却可能各有不同,因此解决跨应用程序session共享的方法也各不相同。
首先来看一下Tomcat是如何实现web应用程序之间session的隔离的,从Tomcat设置的cookie路径来看,它对不同的应用程序设置的cookie路径是不同的,这样不同的应用程序所用的session id是不同的,因此即使在同一个浏览器窗口里访问不同的应用程序,发送给服务器的session id也可以是不同的。

根据这个特性,我们可以推测Tomcat中session的内存结构大致如下。

笔者以前用过的iPlanet也采用的是同样的方式,估计SunONE与iPlanet之间不会有太大的差别。对于这种方式的服务器,解决的思路很简单,实际实行起来也不难。要么让所有的应用程序共享一个session id,要么让应用程序能够获得其他应用程序的session id。
iPlanet中有一种很简单的方法来实现共享一个session id,那就是把各个应用程序的cookie路径都设为/(实际上应该是/NASApp,对于应用程序来讲它的作用相当于根)。/NASApp
需要注意的是,操作共享的session应该遵循一些编程约定,比如在session attribute名字的前面加上应用程序的前缀,使得setAttribute("name", "neo")变成setAttribute("app1.name", "neo"),以防止命名空间冲突,导致互相覆盖。
在Tomcat中则没有这么方便的选择。在Tomcat版本3上,我们还可以有一些手段来共享session。对于版本4以上的Tomcat,目前笔者尚未发现简单的办法。只能借助于第三方的力量,比如使用文件、数据库、JMS或者客户端cookie,URL参数或者隐藏字段等手段。
我们再看一下Weblogic Server是如何处理session的。

从截屏画面上可以看到Weblogic Server对所有的应用程序设置的cookie的路径都是/,这是不是意味着在Weblogic Server中默认的就可以共享session了呢?然而一个小实验即可证明即使不同的应用程序使用的是同一个session,各个应用程序仍然只能访问自己所设置的那些属性。这说明Weblogic Server中的session的内存结构可能如下

对于这样一种结构,在session机制本身上来解决session共享的问题应该是不可能的了。除了借助于第三方的力量,比如使用文件、数据库、JMS或者客户端cookie,URL参数或者隐藏字段等手段,还有一种较为方便的做法,就是把一个应用程序的session放到ServletContext中,这样另外一个应用程序就可以从ServletContext中取得前一个应用程序的引用。示例代码如下,
应用程序Acontext.setAttribute("appA", session);
应用程序BcontextA = context.getContext("/appA");HttpSession sessionA = (HttpSession)contextA.getAttribute("appA");
值得注意的是这种用法不可移植,因为根据ServletContext的JavaDoc,应用服务器可以处于安全的原因对于context.getContext("/appA");返回空值,以上做法在Weblogic Server 8.1中通过。
那么Weblogic Server为什么要把所有的应用程序的cookie路径都设为/呢?原来是为了SSO,凡是共享这个session的应用程序都可以共享认证的信息。一个简单的实验就可以证明这一点,修改首先登录的那个应用程序的描述符weblogic.xml,把cookie路径修改为/appA访问另外一个应用程序会重新要求登录,即使是反过来,先访问cookie路径为/的应用程序,再访问修改过路径的这个,虽然不再提示登录,但是登录的用户信息也会丢失。注意做这个实验时认证方式应该使用FORM,因为浏览器和web服务器对basic认证方式有其他的处理方式,第二次请求的认证不是通过session来实现的。具体请参看[7] secion 14.8 Authorization,你可以修改所附的示例程序来做这些试验。
八、总结session机制本身并不复杂,然而其实现和配置上的灵活性却使得具体情况复杂多变。这也要求我们不能把仅仅某一次的经验或者某一个浏览器,服务器的经验当作普遍适用的经验,而是始终需要具体情况具体分析。
关于作者:郎云鹏(dev2dev ID: hippiewolf),软件工程师,从事J2EE开发电子邮件:langyunpeng@yahoo.com.cn地址:大连软件园路31号科技大厦A座大连博涵咨询服务有限公司
参考文档:[1] Preliminary Specification http://wp.netscape.com/newsref/std/cookie_spec.html[2] RFC2109 http://www.rfc-editor.org/rfc/rfc2109.txt[3] RFC2965 http://www.rfc-editor.org/rfc/rfc2965.txt[4] The Unofficial Cookie FAQ http://www.cookiecentral.com/faq/[5] http://e-docs.bea.com/wls/docs70/webapp/weblogic_xml.html#1036869[6] http://e-docs.bea.com/wls/docs70/webapp/sessions.html#100770[7] RFC2616 http://www.rfc-editor.org/rfc/rfc2616.txt

2008年2月27日星期三

2007年度中国媒体十大流行语

综合类十大流行语的分别是:十七大、嫦娥一号、民生、香港回归十周年、CPI(居民消费价格指数)上涨、廉租房、奥运火炬手、基民、中日关系、全球气候变化。
  国际时政类十大流行语包括:韩国人质、库尔德工人党武装、红色清真寺、和平使命、萨科齐、核设施去功能化、贝.布托、慰安妇问题、反导、达尔富尔。
  国内时政类十大流行语依次是:物权法、又好又快发展、中央宣讲团、入联公投、“和谐号”、国家大剧院、郑筱萸、黑砖窑、道德模范、铁路第六次大提速。
  社会生活类:华南虎、熊猫烧香、食品安全专项整治、群租、东方田鼠、小产权房、零就业家庭、独居老人、金猪、关停小火电。
  经济类:企业所得税法、节能减排、土地增值税、人民币升值、燃油附加费、财产性收入、第二套房贷、从紧货币政策、成品油价格调整、贷款基准利率。
  教育类:师范生免费教育、方永刚、农村义务教育、助学贷款、绿色通道、孔子学院、校园集体舞、创业教育、港校、网游防沉迷系统。
  文化娱乐类:《变形金刚》、《集结号》、80后、帕瓦罗蒂、藏友、新七大奇迹、《士兵突击》、社区文化、孙道临、好男儿。
  科技类:南海Ⅰ号、动车组、绕月探测工程、Vista、阿特兰蒂斯、中华鲟、干细胞、支线飞机、京沪空中快线、海上丝绸之路博物馆。
  构建和谐社会专题:社区卫生服务、预防腐败局、生态文明、轨道交通、和谐文化建设、最低生活保障制度、服务型政府、劳动合同法、农民专业合作社、带薪休假。
  民生专题:经济适用房、法定节假日调整、手机单向收费、农村低保、民生净福利指标、惠农政策、居民基本医疗保险、个税起征点、交强险费率浮动、农村合作医疗。
  金融专题:加息、QDII基金、股指期货、认沽权证、理财产品、跨行通存通兑、新股民、港股直通车、第三方存管、次级抵押贷款。
  奥运专题:上海特奥会、好运北京、倒计时一周年、无车日、奥运门票、祥云、奥运测试赛、奥运火炬、微笑圈、金镶玉。
  本次十大流行语由国家语言资源监测与研究中心、北京语言大学、中国传媒大学、华中师范大学、中国新闻技术工作者联合会、中国中文信息学会联合发布。

2008年2月26日星期二

CURL --- 命令行浏览器


近日弄Gmail的网络硬盘功能碰到CURL,顺便看了些CURL的资料。才发现原来除了wget之外还有这么个东西,而且一般的php服务器都支持CURL的调用。有了这个玩意,可以去做很多事情了,呵呵。转贴一篇CURL的使用入门,对于在程序中进行调用,原理其实都是一样的了。
CURL? 嗯,说来话长了~~~~这东西现在已经是苹果机上内置的命令行工具之一了,可见其魅力之一斑
1)二话不说,先从这里开始吧!curl http://www.yahoo.com回车之后,www.yahoo.com 的html就稀里哗啦地显示在屏幕上了~~~~~
2)嗯,要想把读过来页面存下来,是不是要这样呢?curl http://www.yahoo.com > page.html当然可以,但不用这么麻烦的!用curl的内置option就好,存下http的结果,用这个option: -ocurl -o page.html http://www.yahoo.com这样,你就可以看到屏幕上出现一个下载页面进度指示。等进展到100%,自然就OK咯
3)什么什么?!访问不到?肯定是你的proxy没有设定了。使用curl的时候,用这个option可以指定http访问所使用的proxy服务器及其端口: -xcurl -x 123.45.67.89:1080 -o page.html http://www.yahoo.com
4)访问有些网站的时候比较讨厌,他使用cookie来记录session信息。像IE/NN这样的浏览器,当然可以轻易处理cookie信息,但我们的curl呢?.....我们来学习这个option: -D <-- 这个是把http的response里面的cookie信息存到一个特别的文件中去curl -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.yahoo.com这样,当页面被存到page.html的同时,cookie信息也被存到了cookie0001.txt里面了
5)那么,下一次访问的时候,如何继续使用上次留下的cookie信息呢?要知道,很多网站都是靠监视你的cookie信息,来判断你是不是不按规矩访问他们的网站的。这次我们使用这个option来把上次的cookie信息追加到http request里面去: -bcurl -x 123.45.67.89:1080 -o page1.html -D cookie0002.txt -b cookie0001.txt http://www.yahoo.com这样,我们就可以几乎模拟所有的IE操作,去访问网页了!
6)稍微等等~~~~~我好像忘记什么了~~~~~对了!是浏览器信息~~~~有些讨厌的网站总要我们使用某些特定的浏览器去访问他们,有时候更过分的是,还要使用某些特定的版本~~~~NND,哪里有时间为了它去找这些怪异的浏览器呢!?好在curl给我们提供了一个有用的option,可以让我们随意指定自己这次访问所宣称的自己的浏览器信息: -Acurl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -o page.html -D cookie0001.txt http://www.yahoo.com这样,服务器端接到访问的要求,会认为你是一个运行在Windows 2000上的IE6.0,嘿嘿嘿,其实也许你用的是苹果机呢!而"Mozilla/4.73 [en] (X11; U; Linux 2.2; 15 i686"则可以告诉对方你是一台PC上跑着的Linux,用的是Netscape 4.73,呵呵呵
7)另外一个服务器端常用的限制方法,就是检查http访问的referer。比如你先访问首页,再访问里面所指定的下载页,这第二次访问的referer地址就是第一次访问成功后的页面地址。这样,服务器端只要发现对下载页面某次访问的referer地址不 是首页的地址,就可以断定那是个盗连了~~~~~讨厌讨厌~~~我就是要盗连~~~~~!!幸好curl给我们提供了设定referer的option: -ecurl -A "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)" -x 123.45.67.89:1080 -e "mail.yahoo.com" -o page.html -D cookie0001.txt http://www.yahoo.com这样,就可以骗对方的服务器,你是从mail.yahoo.com点击某个链接过来的了,呵呵呵
8)写着写着发现漏掉什么重要的东西了!----- 利用curl 下载文件刚才讲过了,下载页面到一个文件里,可以使用 -o ,下载文件也是一样。比如, curl -o 1.jpg http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG这里教大家一个新的option: -O大写的O,这么用: curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen1.JPG这样,就可以按照服务器上的文件名,自动存在本地了!再来一个更好用的。如果screen1.JPG以外还有screen2.JPG、screen3.JPG、....、screen10.JPG需要下载,难不成还要让我们写一个script来完成这些操作?不干!在curl里面,这么写就可以了:curl -O http://cgi2.tky.3web.ne.jp/~zzh/screen[1-10].JPG呵呵呵,厉害吧?!~~~
9)再来,我们继续讲解下载!curl -O http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG这样产生的下载,就是~zzh/001.JPG~zzh/002.JPG...~zzh/201.JPG~nick/001.JPG~nick/002.JPG...~nick/201.JPG够方便的了吧?哈哈哈咦?高兴得太早了。由于zzh/nick下的文件名都是001,002...,201,下载下来的文件重名,后面的把前面的文件都给覆盖掉了~~~没关系,我们还有更狠的!curl -o #2_#1.jpg http://cgi2.tky.3web.ne.jp/~{zzh,nick}/[001-201].JPG--这是.....自定义文件名的下载?--对头,呵呵!#1是变量,指的是{zzh,nick}这部分,第一次取值zzh,第二次取值nick#2代表的变量,则是第二段可变部分---[001-201],取值从001逐一加到201这样,自定义出来下载下来的文件名,就变成了这样:原来: ~zzh/001.JPG ---> 下载后: 001-zzh.JPG原来: ~nick/001.JPG ---> 下载后: 001-nick.JPG这样一来,就不怕文件重名啦,呵呵
9)继续讲下载我们平时在windows平台上,flashget这样的工具可以帮我们分块并行下载,还可以断线续传。curl在这些方面也不输给谁,嘿嘿比如我们下载screen1.JPG中,突然掉线了,我们就可以这样开始续传curl -c -O http://cgi2.tky.3wb.ne.jp/~zzh/screen1.JPG当然,你不要拿个flashget下载了一半的文件来糊弄我~~~~别的下载软件的半截文件可不一定能用哦~~~分块下载,我们使用这个option就可以了: -r举例说明比如我们有一个http://cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 要下载(赵老师的电话朗诵 :D )我们就可以用这样的命令:curl -r 0-10240 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\curl -r 10241-20480 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\curl -r 20481-40960 -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3 &\curl -r 40961- -o "zhao.part1" http:/cgi2.tky.3web.ne.jp/~zzh/zhao1.mp3这样就可以分块下载啦。不过你需要自己把这些破碎的文件合并起来如果你用UNIX或苹果,用 cat zhao.part* > zhao.mp3就可以如果用的是Windows,用copy /b 来解决吧,呵呵上面讲的都是http协议的下载,其实ftp也一样可以用。用法嘛,curl -u name:passwd ftp://ip:port/path/file或者大家熟悉的curl ftp://name:passwd@ip:port/path/file
10)说完了下载,接下来自然该讲上传咯上传的option是 -T比如我们向ftp传一个文件: curl -T localfile -u name:passwd ftp://upload_site:port/path/当然,向http服务器上传文件也可以比如 curl -T localfile http://cgi2.tky.3web.ne.jp/~zzh/abc.cgi注意,这时候,使用的协议是HTTP的PUT method刚才说到PUT,嘿嘿,自然让老服想起来了其他几种methos还没讲呢!GET和POST都不能忘哦。http提交一个表单,比较常用的是POST模式和GET模式GET模式什么option都不用,只需要把变量写在url里面就可以了比如:curl http://www.yahoo.com/login.cgi?user=nickwolfe&password=12345而POST模式的option则是 -d比如,curl -d "user=nickwolfe&password=12345" http://www.yahoo.com/login.cgi就相当于向这个站点发出一次登陆申请~~~~~到底该用GET模式还是POST模式,要看对面服务器的程序设定。一点需要注意的是,POST模式下的文件上的文件上传,比如
这样一个HTTP表单,我们要用curl进行模拟,就该是这样的语法:curl -F upload=@localfile -F nick=go http://cgi2.tky.3web.ne.jp/~zzh/up_file.cgi罗罗嗦嗦讲了这么多,其实curl还有很多很多技巧和用法比如 https的时候使用本地证书,就可以这样curl -E localcert.pem https://remote_server再比如,你还可以用curl通过dict协议去查字典~~~~~curl dict://dict.org/d:computer今天就先讲到这里吧,呵呵。疯狂的curl功能,需要你---一起来发掘。copyright by nickwolfe@CCF


免费yahoo邮箱的pop3和smtp

现在面向中国大陆的免费yahoo邮箱域名有两个
yahoo.com.cn和yahoo.cn
默认是不开启pop3收信和smtp发信功能的
加入yahoo! deliever会员会赠送pop3收信服务
但是smtp发信功能仍不可用
待确认!

2008年2月22日星期五

陆小凤-凤舞九天

dJmwL#Fzr 演员表:
E*&SOLz' 陆小凤---万梓良
`;0]tTR?/D 花满楼---黄允材
7dC#_"Ga 晶晶---陈秀珠
H$%k6dWcb 薛冰---景黛音
AlzW)4( 西门吹雪---惠天赐
O,.j'%' 牛肉汤---容惠雯
[w??_J 叶孤城---黎汉持
/}n%3b' 流云居士---刘江
7Z/_jL+& 老实和尚---欧阳震华
(eL^f\IL=g 司空摘星---梁鸿华
;DO#5|s 孙秀青---梁洁华(黄日华之妻)
2ushej& 慕容双---吴家丽
P~ct@ _q
-^pHU] 1985年摄制,1986年初首播
h<81ux0>
(.]C{ sF
M3_$==1
<;=5v"5 主题曲:《留下我美梦》 演唱:甄妮
fZ\  #
PQ/su^v+ 歌词:迎清风
U u@ ]A 万里冲天凤
V@5S\(u 翱翔欢笑中
kw}8$vw1z[ 人间君子
h+H<1,knd>共我心相知
}29aNnSz 带我追美梦
oL{])T7di9
?)Fw])S'T 伴他高飞 就有朝气
8GT5$I02 人向太阳冲
I)=K_d 共他一起 没有悲痛
sx:b|q]3q 轻飘飘我浴春风
&)#P4#-
r|R6nKd2 人间的猛虎
PUG`qg<" 俗世火中凤
um&xt~W5: 锄强一笑中
8#>s.B} 弹指之间
<;E,!=w< 助我闯千关
Jp _ijakj 带我追美梦
ZB/^p+9 啊--英雄
Mub/s&qG 请你陪我追美梦
Tl4,=)7< 啊--英雄
BpMUAZ}{ 请你留下我美梦
;p8xIosA
(5"}$PM
+0R GJvxF 插曲:《风里不回顾》 演唱:甄妮
X]6810"5e
9K.omGM 歌词:不知道受多少痛苦
9*h_bmed< 不知道泪几次枯
N%4lW+% 只知道不应该
(28O# 将我深情不顾
{\rRa,<
ozlX;可知我内心的痛苦
v>/ _:-t 可知我泪枯了又枯
h8m J TXP 只知道天作弄人
fU]`VP 风里不堪回顾
7w+1%3
v^"G浓情浓爱舍不得
Z" e+: 埋藏在人心深库
LGN2C \ 无人无风夜深里
yUj@d(- 偷偷想偷偷顾
ph:1Nn~F
)DL>M!R 遮起我内心的痛苦
!91Z^Z 关锁了泪眼重门户
8V jn*TW 装作一切都已淡忘
风里不回顾

2008年2月16日星期六

向网卡回放winpcap数据

winpcap是一个开源的库,用来在win32平台下进行抓包和网络分析。ethereal或wireshark利用winpcap进行sniffer,嗅探下来的数据有些情况下需要在网卡上回放。winpcap提供pcap_sendpacket()和pcap_sendqueue_transmit()函数来向网卡发包。pcap_sendpacket()发送单个的mac帧,而pcap_sendqueue_transmit()可将自pcap文件生成的mac帧队列在网卡上回放。pcap_sendqueue_alloc()为发送队列分配缓冲区空间pcap_next_ex()从pcap文件取得一个packetpcap_sendqueue_queue()将packet加入到队列pcap_sendqueue_destroy()发送之后将队列空间释放如果不限定缓冲区大小,队列缓冲区可能会溢出,为此指定队列缓冲区大小。当同步释放数据包时,缓冲区的大小会对数据包释放时间有影响,经测试,缓冲区越大,数据包释放的同步性越好,反之,缓冲区越小,数据包释放的同步延时就越大。

2008年2月14日星期四

感光度(ISO)

感光度(也就是ISO)指的是感光体对光线感受的能力。在传统摄影时代,感光体就是底片,而在数码摄影的时代,相机则采用CCD或是CMOS作为感光原件。感光度越高(也就是ISO值越高)时,拍摄时所需要的光线就越少,感光度越低时,对拍摄时所需要的光线就越多。
一般我们常见的ISO数值有: ISO50、ISO100、ISO200、ISO400、ISO800、ISO1600
当ISO的数值越高时,感光度就越强。目前入门级数位单反相机的感光度通常从100起跳(NIKON为ISO 200),最高一般都有到ISO 1600的实力。
在每两个相邻的感光度号数之间,差异的感光能力是两倍,也就是说,ISO100的感光能力是ISO50的两倍,同样的ISO1600的感光能力是ISO800的两倍。这里的计算方法,跟我们在前面课程中提到过的光圈和快门是一样的。
感光度跟光圈、快门一样,在两个相邻号数之间都有「一级」或是「一格」的差距。所以,我们在换算曝光量时,同样的也可以把ISO带进去里面作变换。例如:
F2.8、1/60s、ISO 100 = F5.6、1/60s、ISO 400(因为光圈减少了两格的光量,所以右边在ISO感光度上增加了两格补回来)
提高感光度可以帮助我们在环境比较暗的场合来拍照,而不需要藉助闪光灯、或是大光圈的镜头来辅助,不过它也有一个很难令人忍受的缺点,就是当感光体的感光度越高,所拍摄出来的图片粒子就会越粗造,画面的噪声也会增多。
一般数码单反相机对噪声及粗粒子的抑制能力,也是作能力评比时的一个重要评分依据。提高感光度之后,对画面产生的负面影响。一般如果拍摄者要求画面的细致度及高品质,在拍摄时就尽量不要使用高感光度的设定。这时因为光线不足势必要拉长拍摄时间或是补光,所以闪光灯或是三脚架就成了必备的工具。
如果从另一个角度来看,高感光度所造成的粗粒子有时反而可以拿来好好的运用,变成另外一种特殊的摄影效果。在以前传统摄影的时代,有时为了要拍出粗粒子效果的照片,我们会特意使用高感光度的底片来拍摄,然后在冲片时再利用高温缩短时间的方式,来增加噪声及颗粒。现在只要在拍摄时简单的设定一下感光度,然后在后制时,利用影像软件再作一下处理,就可以获得很棒的效果了。

This page is powered by Blogger. Isn't yours?

订阅 博文 [Atom]