HTTP协议分析

攀枝花学院计算机网络工程实训报告

HTTP协议分析

学生姓名：杨玉刚

学生学号： 200710801075

院（系）：计算机学院

年级专业： 07计本2版

指导教师：范胜波

二〇一〇年六月

攀枝花学院本科学生课程设计任务书

攀枝花学院计算机网络工程实训报告

摘要

HTTP（Hyper Text Transfer Protocol）是超文本传输协议的缩写，它用于传送WWW方式的数据，关于HTTP协议的详细内容请参考RFC2616。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求，请求头包含请求的方法、URI、协议版本、以及包含请求修饰符、客户信息和内容的类似于MIME的消息结构。服务器以一个状态行作为响应，相应的内容包括消息协议的版本，成功或者错误编码加上包含服务器信息、实体元信息以及可能的实体内容。

通常HTTP消息包括客户机向服务器的请求消息和服务器向客户机的响应消息。这两种类型的消息由一个起始行，一个或者多个头域，一个只是头域结束的空行和可选的消息体组成。HTTP的头域包括通用头，请求头，响应头和实体头四个部分。每个头域由一个域名，冒号（:）和域值三部分组成。域名是大小写无关的，域值前可以添加任何数量的空格符，头域可以被扩展为多行，在每行开始处，使用至少一个空格或制表符

关键词HTTP协议，客户端，服务器, HTTP的头域

攀枝花学院计算机网络实训报告

目录

摘要 (Ⅰ)

1 前言 (1)

1.1 http协议简述 (1)

2 需求分析 (2)

2.1 http协议通信过程 (2)

2.1.1 URL自动解析 (2)

2.1.2 获取IP,建立TCP连接 (2)

2.1.3客户端浏览器向服务器发出HTTP请求 (2)

2.1.4 Web服务器应答,并向浏览器发送数据 (2)

2.1.5 Web服务器关闭TCP连接 (3)

2.1 HTTP的头域 (3)

2.1.1通用头域 (3)

2.1.2请求消息 (4)

2.1.3响应消息 (5)

2.1.4实体信息 (6)

3 系统设计 (7)

3.1 HTTP Analyzer工具介绍 (8)

3.2分析访问浏览器和服务器通信的过程 (8)

4 系统分析 (12)

4.1 HTTP 请求消息 (12)

4.1 HTTP 响应消息 (13)

结论 (15)

参考文献 (16)

附录 (17)

1前言

1.1 HTTP协议简述

HTTP是一个客户端和服务器端请求和应答的标准（TCP）。客户端是终端用户，服务器端是网站。通过使用Web浏览器、网络爬虫或者其它的工具，客户端发起一个到服务器上指定端口（默认端口为80）的HTTP请求。（我们称这个客户端）叫用户代理（user agent）。应答的服务器上存储着（一些）资源，比如HTML文件和图像。（我们称）这个应答服务器为源服务器（origin server）。在用户代理和源服务器中间可能存在多个中间层，比如代理，网关，或者隧道（tunnels）。尽管TCP/IP协议是互联网上最流行的应用，HTTP协议并没有规定必须使用它和（基于）它支持的层。事实上，HTTP可以在任何其他互联网协议上，或者在其他网络上实现。HTTP只假定（其下层协议提供）可靠的传输，任何能够提供这种保证的协议都可以被其使用。

2 需求分析

2.1 HTTP协议通信过程

当我们在浏览器的地址栏输入“https://www.360docs.net/doc/2c11276306.html,”然后按回车，这之后发生了什么事，我们直接看到的是打开了对应的网页，那么内部客户端和服务端是如何通信的呢？

2.1.1 URL自动解析

HTTP URL包含了用于查找某个资源的足够信息，基本格式如下：

HTTP://host[“:”port][abs_path]，其中HTTP表示桶盖HTTP协议来定位网络资源；host表示合法的主机域名或IP地址，port指定一个端口号，缺省80；abs_path指定请求资源的URI；如果URL中没有给出abs_path，那么当它作为请求URI时，必须以“/”的形式给出，通常这个工作浏览器自动帮我们完成。

例如：输入https://www.360docs.net/doc/2c11276306.html,;浏览器会自动转换成：https://www.360docs.net/doc/2c11276306.html,/

2.1.2 获取IP，建立TCP连接

浏览器地址栏中输入"https://www.360docs.net/doc/2c11276306.html,/"并提交之后，首先它会在DNS本地缓存表中查找，如果有则直接告诉IP地址。如果没有则要求网关DNS进行查找，如此下去，找到对应的IP后，则返回会给浏览器。

当获取IP之后，就开始与所请求的Tcp建立三次握手连接，连接建立后，就向服务器发出HTTP请求。

2.1.3 客户端浏览器向服务器发出HTTP请求

一旦建立了TCP连接，Web浏览器就会向Web服务器发送请求命令，接着以头信息的形式向Web服务器发送一些别的信息，之后浏览器发送了一空白行来通知服务器，它已经结束了该头信息的发送。

2.1.4 Web服务器应答，并向浏览器发送数据

客户机向服务器发出请求后，服务器会客户机回送应答，

HTTP/1.1 200 OK

应答的第一部分是协议的版本号和应答状态码，正如客户端会随同请求发送关于自身的信息一样，服务器也会随同应答向用户发送关于它自己的数据及被请求的文档。

Web服务器向浏览器发送头信息后，它会发送一个空白行来表示头信息的发送到此为结束，接着，它就以Content-Type应答头信息所描述的格式发送用户所请求的实际数据

2.1.5 Web服务器关闭TCP连接

一般情况下，一旦Web服务器向浏览器发送了请求数据，它就要关闭TCP连接，然后如果浏览器或者服务器在其头信息加入了这行代码

Connection:keep-alive

TCP连接在发送后将仍然保持打开状态，于是，浏览器可以继续通过相同的连接发送请求。保持连接节省了为每个请求建立新连接所需的时间，还节约了网络带宽。

2.2 HTTP的头域

2.2.1 通用头域

通用头域包含请求和响应消息都支持的头域，通用头域包含Cache- Control、Connection、Date、Pragma、Transfer-Encoding、Upgrade、Via。对通用头域的扩展要求通讯双方都支持此扩展，如果存在不支持的通用头域，一般将会作为实体头域处理。下面简单介绍几个在UPnP消息中使用的通用头域。

2.2.1.1 Cache-Control头域

Cache-Control指定请求和响应遵循的缓存机制。在请求消息或响应消息中设置Cache-Control并不会修改另一个消息处理过程中的缓存处理过程。请求时的缓存指令包括no-cache、no- store、max-age、max-stale、min-fresh、

only-if-cached，响应消息中的指令包括public、 private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、 max-age。各个消息中的指令含义如下：

Public指示响应可被任何缓存区缓存。

Private指示对于单个用户的整个或部分响应消息，不能被共享缓存处理。这允许服务器仅仅描述当用户的部分响应消息，此响应消息对于其他用户的请求无效。no-cache指示请求或响应消息不能缓存

no-store用于防止重要的信息被无意的发布。在请求消息中发送将使得请求和响应消息都不使用缓存。

max-age指示客户机可以接收生存期不大于指定时间（以秒为单位）的响应。min-fresh指示客户机可以接收响应时间小于当前时间加上指定时间的响应。max-stale指示客户机可以接收超出超时期间的响应消息。如果指定 max-stale

消息的值，那么客户机可以接收超出超时期指定值之内的响应消息。

2.2.1.2 Date头域

Date头域表示消息发送的时间，时间的描述格式由rfc822定义。例如，Date: Tue, 15 Jun 2010 11:04:56 GMT。Date描述的时间表示世界标准时，换算成本地时间，需要知道用户所在的时区。

2.2.1.3 Pragma头域

Pragma头域用来包含实现特定的指令，最常用的是Pragma:no- cache。在HTTP/1.1协议中，它的含义和Cache-Control:no-cache相同。

2.2.2 请求消息

请求消息的第一行为下面的格式：

Method SP Request-URI SP HTTP-Version CRLF

Method表示对于Request-URI完成的方法，这个字段是大小写敏感的，包括PTIONS、GET、HEAD、POST、PUT、DELETE、TRACE。方法GET和HEAD应该被所有的通用WEB服务器支持，其他所有方法的实现是可选的。GET方法取回由Request-URI标识的信息。HEAD方法也是取回由Request-URI标识的信息，只是可以在响应时，不返回消息体。POST方法可以请求服务器接收包含在请求中的实体信息，可以用于提交表单，向新闻组、BBS、邮件群组和数据库发送消息。SP表示空格。

Request-URI遵循URI格式，在此字段为星号（*）时，说明请求并不用于某个特定的资源地址，而是用于服务器本身。

HTTP-Version表示支持的HTTP版本，例如为 HTTP/1.1。

CRLF表示换行回车符。

请求头域允许客户端向服务器传递关于请求或者关于客户机的附加信息。请求头域可能包含下列字段Accept、Accept-Charset、Accept- Encoding、

Accept-Language、Authorization、From、Host、If-Modified-Since、If- Match、If-None-Match、If-Range、If-Range、If-Unmodified-Since、Max-Forwards、Proxy-Authorization、Range、Referer、User-Agent。对请求头域的扩展要求通讯双方都支持，如果存在不支持的请求头域，一般将会作为实体头域处理。

典型的请求消息：

GET /uploadfile/Image/29/20100607095933-2.jpg.JPG HTTP/1.1

Host: https://www.360docs.net/doc/2c11276306.html,

Accept:*/*

Pragma:no-cache

Cache-Control:no-cache

Referer: https://www.360docs.net/doc/2c11276306.html,/

User-Agent:Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1;

Trident/4.0; QQPinyin 730; SLCC2; .NET CLR 2.0.50727; .NET

CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0;

InfoPath.2; Tablet PC 2.0)

Range: bytes=554554-

上例第一行表示HTTP客户端（可能是浏览器、下载程序）通过GET方法获得指定URL下的文件。

Host头域

Host头域指定请求资源的Intenet主机和端口号，必须表示请求 url的原始服务器或网关的位置。HTTP/1.1请求必须包含主机头域，否则系统会以400状态码返回。

Referer头域

Referer头域允许客户端指定请求uri的源资源地址，这可以允许服务器生成回退链表，可用来登陆、优化cache等。他也允许废除的或错误的连接由于维护的目的被追踪。如果请求的uri没有自己的uri地址，Referer不能被发送。如果指定的是部分uri地址，则此地址应该是一个相对地址。

Range头域

Range头域可以请求实体的一个或者多个子范围。例如，

表示头500个字节：bytes=0-499

表示第二个500字节：bytes=500-999

表示最后500个字节：bytes=-500

表示500字节以后的范围：bytes=500-

第一个和最后一个字节：bytes=0-0,-1

同时指定几个范围：bytes=500-600,601-999

但是服务器可以忽略此请求头，如果无条件GET包含Range请求头，响应会以状态码206（PartialContent）返回而不是以200（OK）。

User-Agent头域

User-Agent头域的内容包含发出请求的用户信息。

2.2.3 响应消息

响应消息的第一行为下面的格式：

HTTP-Version SP Status-Code SP Reason-Phrase CRLF

HTTP-Version表示支持的HTTP版本，例如为 HTTP/1.1。

Status-Code是一个三个数字的结果代码。

Reason-Phrase给Status-Code提供一个简单的文本描述。Status-Code主要用于机器自动识别，Reason-Phrase主要用于帮助用户理解。Status-Code的第一个数字定义响应的类别，后两个数字没有分类的作用。第一个数字可能取5个不同的值：

1xx:信息响应类，表示接收到请求并且继续处理

2xx:处理成功响应类，表示动作被成功接收、理解和接受

3xx:重定向响应类，为了完成指定的动作，必须接受进一步处理

4xx:客户端错误，客户请求包含语法错误或者是不能正确执行

5xx:服务端错误，服务器不能正确执行一个正确的请求

响应头域允许服务器传递不能放在状态行的附加信息，这些域主要描述服务器的信息和Request-URI进一步的信息。响应头域包含Age、 Location、

Proxy-Authenticate、Public、Retry-After、Server、Vary、Warning、WWW- Authenticate。对响应头域的扩展要求通讯双方都支持，如果存在不支持的响应头域，一般将会作为实体头域处理。

典型的响应消息：

HTTP /1.0 200 OK

Date:Tue, 15 Jun 2010 11:04:56 GMT

Server:Apache/2.0.53 (Unix) PHP/5.0.2 DAV/2

Content-type: text/html

Last-modified: Tue, 15 Jun 2010 11:04:56 GMT

Etag: "1d7f-ff7-ad33b280"

Content-length: 39725426

Content-range: bytes554554-40279979/40279980

上例第一行表示HTTP服务端响应一个GET方法。

Location响应头

Location响应头用于重定向接收者到一个新URI地址。

Server响应头

Server响应头包含处理请求的原始服务器的软件信息。此域能包含多个产品标识和注释，产品标识一般按照重要性排序。

2.2.4 实体信息

请求消息和响应消息都可以包含实体信息，实体信息一般由实体头域和实体组成。实体头域包含关于实体的原信息，实体头包括Allow、Content-Base、

Content-Encoding、Content- Language、 Content-Length、Content-Location、Content-MD5、Content-Range、Content-Type、 Etag、Expires、Last-Modified、extension-header。extension-header允许客户端定义新的实体头，但是这些域可能无法未接受方识别。实体可以是一个经过编码的字节流，它的编码方式由Content-Encoding或Content-Type定义，它的长度由Content-Length或Content-Range定义。

Content-Type实体头

Content-Type 实体头用于向接收方指示实体的介质类型，指定HEAD方法送到接收方的实体介质类型，或GET方法发送的请求介质类型Content-Range实体头Content-Range实体头

用于指定整个实体中的一部分的插入位置，他也指示了整个实体的长度。在服务器向客户返回一个部分响应，它必须描述响应覆盖的范围和整个实体长度。一般格式：

Content-Range:bytes-unit SP first-byte-pos -

last-byte-pos/entity-legth

例如，传送头500个字节次字段的形式：Content- Range:bytes0-499/1234如果一个http消息包含此节（例如，对范围请求的响应或对一系列范围的重叠请求），Content- Range表示传送的范围，Content-Length表示实际传送的字节数。

Last-modified实体头

Last-modified实体头指定服务器上保存内容的最后修订时间。

3 系统设计

3.1 HTTP Analyzer工具介绍

HTTP Analyzer 为一款实时分析 HTTP/HTTPS 数据流的工具。它集成于你的IE 浏览器窗口的低层部分并且可以从 IE 工具栏上打开和关闭. 这是一款IE集成插件。它可以实时捕捉HTTP/HTTPS 协议数据，可以显示许多信息（包括：文件头、内容、Cookie、查询字符窜、提交的数据、重定向的URL地址），可以提供缓冲区信息、清理对话内容、HTTP状态信息和其他过滤选项。同时还是一个非常有用的分析、调试和诊断的开发工具。 IE插件，IE HTTP Analyzer可在IE浏览器窗口下部与之整合，可以实时捕捉HTTP/HTTPS通信。它能显示大量信息，包括文件头、内容、cookies、查询的字符串、贴出的数据、重定向URL等。它还提供cache 信息和清理对话内容功能，也提供HTTP status code －状态代码

3.2 分析访问浏览器和服务器通信的过程

下面访问https://www.360docs.net/doc/2c11276306.html,/ ，HTTP analyzer将抓包来分析访问浏览器和服务器通信的过程。

1、运行HTTP Analyzer，选择菜单Action—start开始抓包；

2、浏览器中输入https://www.360docs.net/doc/2c11276306.html,/，网页打开后，在HTTP Analyzer中选择

Action—stop停止抓包；工具已经详细列出了访问的数据包信息。通过截图见到了解下抓包信息

访问https://www.360docs.net/doc/2c11276306.html,/

获得的数据包信息

服务器响应头信息

客户端请求头信息

图3.1 抓包结果和文件头信息

HTML正文内容图3.2 一次请求的html正文内容

图3.3 本次请求是否存在cookies信息

客户端一次请求的所有信息图3.4 一次请求的整个数据包信息

图3.5 服务器响应,包括头信息和正文

4 系统分析

浏览器中只点击了一个超级链接，却发送了多个数据包。那是因为当我们请求的网页文件中有很多图片、音乐、电影等信息时，服务器返回的信息中并不直接包含图片数据，而只是保存该图片的链接，当浏览器进行解释的时候，遇到图片的url时,才向服务器发出对图片的请求信息。

下面来详细分析HTTP的请求和响应信息：

4.1 HTTP请求消息

HTTP请求消息，当客户端和服务端建立TCP连接后，客户端就会向服务器发送一个请求信息，如：

[1] GET / HTTP/1.1

[2] Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg,

application/x-shockwave-flash, application/x-silverlight,

application/vnd.ms-excel, application/vnd.ms-powerpoint,

application/msword, */* 客户端可识别的内容类型列表。

[3] Accept-Language: zh-cn 客户端所能解释的语言：简体中文

[4] UA-CPU: x86

[5] Accept-Encoding: gzip, deflate 客户端可以解释的类型

[6] User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1;

Trident/4.0; QQPinyin 730; SLCC2; .NET CLR 2.0.50727; .NET CLR

3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2;

Tablet PC 2.0) 客户端浏览器型号

[7] Host: https://www.360docs.net/doc/2c11276306.html,/ 提交请求页面

[8] Connection: Keep-Alive TCP连接保持打开

[9]

该请求信息主要由4部分组成：

l请求方法URI协议/版本：以上代码第[1]行“GET”表示请求方法，“HTTP/1.1代表协议和协议的版本，HTTP请求可以使用多种请求方法，最常用的为GET和POST方法

2 请求头：[2]-[8]行，包含许多有关客户端环境和请求正文的有用信息。

3空行：[9] 请求头和请求正文之间是一个空行，这个行非常重要，表示请求头已经结束，接下来是正文，这个行非常重要，它表示请求头已经结束，接下来是请求正文。

4请求正文。请求正文中可以包含客户提交的查询字符串信息，如用户名和密码等。

这里有一点值得说明的是:请求方法中的GET和POST方法；

GET方法是默认的HTTP请求方法，我们日常用GET方法来提交表单数据，然而用GET方法提交的表单数据只经过了简单的编码，同时它将作为URL的一部分向Web服务器发送，因此，如果使用GET方法来提交表单数据就存在着安全隐患上，同时这个URL长度还有限制，不允许超过1k。

POST方法是GET方法的一个替代方法，它主要是向Web服务器提交表单数据，尤其是大批量的数据。POST方法克服了GET方法的一些缺点。通过POST 方法提交表单数据时，数据不是作为URL请求的一部分而是作为标准数据传送给Web服务器，这就克服了GET方法中的信息无法保密和数据量太小的缺点。因此，出于安全的考虑以及对用户隐私的尊重，通常表单提交时采用POST 方法。

4.2 HTTP响应消息

HTTP响应消息，响应跟请求类似，如：

[1]HTTP/1.1 200 OK

[2]Cache-Control: private, max-age=0

[3]Date: Fri, 27 Feb 2009 07:53:36 GMT

[4]Expires: -1

[5]Content-Type: text/html; charset=UTF-8

[6]Set-Cookie:

PREF=ID=cc4a31ab6792ef2c:NW=1:TM=1235721216:LM=1235721216:S

=q1hQBu-1KdamAWK-; expires=Sun, 27-Feb-2011 07:53:36 GMT;

path=/; domain=https://www.360docs.net/doc/2c11276306.html,

[7]Content-Encoding: gzip

[8]Server: gws

[9]Transfer-Encoding: chunked

[10]

[11]ddc

该响应信息也以对应的4部分组成：

1协议状态描述，HTTP/1.1表示协议版本，200 OK表示服务器已经成功处理了客户端发出的请求。200表示HTTP的应答码成功。HTTP应答码由3位数字构成，其中首位数字定义了应答码的类型：

1XX－信息类(Information),表示收到Web浏览器请求，正在进一步的处理中。

2XX－成功类（Successful）,表示用户请求被正确接收，理解和处理例如：200 OK

3XX-重定向类(Redirection),表示请求没有成功，客户必须采取进一步的动作。

4XX-客户端错误(Client Error)，表示客户端提交的请求有错误例如：404 NOT Found，意味着请求中所引用的文档不存在。

5XX-服务器错误(Server Error)表示服务器不能完成对请求的处理：如 500 2响应头：跟请求头一样，它指出服务器的功能，标识出响应数据的细节。

3空行：也是属于响应头和响应正文之间必须存在的一个空行，表示响应头结束，接下来是响应正文。

4响应正文：也就是服务器返回的网页内容。

结论

根据上文的描述，再结合工具实际验证一回，我对HTTP协议和其通信流程有个大致的了解。

HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的规范化工作正在进行之中，而且HTTP-NG(Next Generation of HTTP)的建议已经提出。HTTP协议的主要特点可概括如下：

1.支持客户/服务器模式。

2.简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。

3.灵活：HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type 加以标记。

4.无连接：无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。

5.无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面，在服务器不需要先前信息时它的应答就较快。