IIS日志的重要作用-蜘蛛爬行与网站优化
IIS攻击与日志
IIS攻击与日志不管在操作系统上进行了多么精心的配置，不管网络的安全根基打的多么的好，运行其上的脆弱的应用程序总是能轻松的将它们化为乌有。
INTERNET信息服务（IIS）是WINDOWS 2000服务器上应用最广泛的服务，作为微软的主流WEB服务器，IIS遍布全球的服务器上，因此，几乎所有的IIS漏洞都可能成为一次全球性蠕虫袭击的源头，漏洞发现----蠕虫来袭，几乎成了WINDOWS 2000服务器大灾难的一般规律，尽管发现的漏洞都已经一一提供了补丁，但是还是让很多网管和媒体手忙脚乱一阵，而我们要做好IIS的安全防范，日志是很重要的安全检查手段之一，下面，我们有必要首先了解一些IIS攻击的基本知识。
知识点之一：HTTP请求过程简介浏览器一般是图形界面的，因此我们图形界面后面所发生的详细细节。
实际上，它的请求过程是这样的：首先，你看到的网址通过DNS来转换成的IP地址，你的计算机会同这个IP地址建立TCP连接，连接建立后，就开始HTTP请求过程了，以下是一个完整的HTTP请求过程，首先我们点击/download/Tue Aug 12 11:47:28 2003 正在连接:80Tue Aug 12 11:47:28 2003 正在连接 [IP=66.111.34.91:80]Tue Aug 12 11:47:29 2003 已连接.Tue Aug 12 11:47:29 2003 GET /download/ HTTP/1.1Tue Aug 12 11:47:29 2003 Host: Tue Aug 12 11:47:29 2003 Accept: */*Tue Aug 12 11:47:29 2003 Referer: /download/Tue Aug 12 11:47:29 2003 User-Agent: Mozilla/4.0 (compatible; MSIE 5.00;Windows 98)Tue Aug 12 11:47:30 2003 HTTP/1.1 200 OKTue Aug 12 11:47:30 2003 Date: Tue, 12 Aug 2003 04:46:42 GMTTue Aug 12 11:47:30 2003 Server: ApacheTue Aug 12 11:47:30 2003 Last-Modified: Mon, 09 Jun 2003 02:47:17 GMTTue Aug 12 11:47:30 2003 Content-Type: text/plain由于HTTP是基于文本，所以它非常容易看懂，在浏览器里我们输入的请求是这样的：/download/这是在请求打开虚拟目录里的DOWNLOAD目录，而这个虚拟目录实际上影射的是系统里的一个实际目录：比如说是c:\wwwroot\download\所以在服务器看来，这个请求就是这样的：GET /download/ HTTP/1.1这里举的例子是请求一个目录，请求一个文件也是一样的，比如说我们请求的是：/download/index.html在服务器看来是：GET /download/index.html HTTP/1.1如果这个文件是存在的，而且服务器运行正常，那么服务器就会返回index.html的数据，并通过浏览器对数据的解析，呈现出我们平时看到的页面，在成功的获取了文件的数据的情况下，服务器会产生HTTP 200 OK的应答记录。
网站的快照没了(消失了)怎么办？
IIS日志记载了蜘蛛爬行主机出现的各种情况，主机头返回的信息能看到蜘蛛在爬行网站的时候具体遇到了什么问题，如果您的主机或者服务器没有IIS日志，那您需要联系您的供应商把IIS日志放出来，服务器的IIS日志需要自行放出。
二、检查文章的收录量
如果您的网站主页快照消失了，那么是否网站的收录页面还在，是减少了收录页面还是页面完全消失呢，如果页面和主页都消失了，很抱歉里面搜索引擎规定的游戏规则。
如果您的网站只是主页数据库出现了问题，这样的情况您不必担心，去布置链接诱饵勾引蜘蛛就够了。
如果您的网站主页在快照中消失，并且收录页面减少到一倍以下，那么说明您网站的文章质量有问题，或堆积了关键词，或您网站的文章在互联网大量的重复，也许是因为您的采集，那么
您还需要检查您网站是否造成了大量的外链丢失，外链分为两个方向，友情链接丢失比率，普通URL输出外链消失比率，如果丢失比率超过了20%那么您需要重新增加您的外链并且工作要做到丢失比率的2倍。
四、其他问题
检查网站模板是否存在设计问题，比如网页代码设计不完整，js代码过多，frameset 过多，网站的flash过多，图片过多并未进行描述等
ቤተ መጻሕፍቲ ባይዱ
本文来自帝国放映室http://www.diguo.me
IIS的功能和作用
IIS的功能和作用Internet Information Services（IIS）是一款由微软开发的Web服务器软件，它是Windows操纵系统的一部分。
IIS的功能和作用非常广泛，包括但不限于以下几个方面。
1. Web服务器：IIS是一款高性能的Web服务器软件，可以处理和响应Web请求。
它支持HTTP、HTTPS、FTP和SMTP等协议，可以在Windows服务器上托管网站、应用程序和服务。
提供强大的速度、稳定性和扩展性。
3.负载均衡：IIS还提供了负载均衡功能，可以将请求分发到多个后端服务器上，从而实现高可用性和扩展性。
通过配置负载均衡器，可以根据不同的负载算法将请求分发到不同的服务器上，以实现资源的均衡利用。
4. 安全性：IIS提供了各种安全性功能，包括SSL/TLS支持、访问控制、认证授权、IP地址过滤、防止DDoS攻击等。
可以通过IIS管理工具配置这些安全性功能，确保Web服务器的安全。
5. 监控和日志：IIS提供了丰富的监控和日志功能，可以实时监视Web服务器的性能和状态。
它提供了性能计数器、事件日志和访问日志等，可以帮助管理员及时发现和解决问题。
管理员还可以通过日志分析工具分析访问日志，了解用户的访问模式和行为。
6. 扩展性：IIS具有很高的扩展性，可以通过添加和配置不同的模块和处理器来扩展其功能。
例如，可以添加URL重写模块、缓存模块、压缩模块等，以改善Web服务器的性能和功能。
还可以编写自定义的模块和处理器，以满足特定需求。
7. 网站和应用程序管理：通过IIS管理工具，管理员可以方便地管理和配置网站和应用程序。
可以创建、删除、启用和禁用网站和应用程序，设置虚拟目录、托管环境和权限等。
管理员还可以监视和控制正在运行的进程和线程，以确保Web服务器的稳定运行。
总结来说，IIS是一款功能强大的Web服务器软件，可以用于托管和管理网站、应用程序和服务。
它提供了丰富的功能，包括Web服务器、Web应用程序托管、负载均衡、安全性、监控和日志、扩展性、网站和应用程序管理等。
如何分析网站IIS日志中的搜索引擎爬虫轨迹
如何分析网站IIS日志中的搜索引擎爬虫轨迹,这是很多新手SEOer放在心里的一个疑问。
网站建设中心鸿邦科技又来给您支招了！假如你要搜索百度的爬虫，那么就直接在保存记录的文本文档上搜索“Baiduspider”，我们节选以下一行来做详细的分析：2011-02-27 13:02:40 W3SVC321 222.73.86.227 GET /index.html - 80 - 61.135.168.39 Baiduspider+(+/search/spider.htm) 200 0 64- - 这段IIS日志代码表示：在2011-02-27 13:02:40 这个时间，百度搜索引擎的蜘蛛（ip 地址为61.135.168.39，后面的/search/spider.htm是关于Baiduspider+的相关问题）访问了服务器ip为222.73.86.227的网站，并且抓取了首页/index.html，该日志记录保存在W3SVC321文件夹。
其中，两个地方值得说明：一是各大搜索引擎爬虫（蜘蛛）的名称整理如下，大家可以对号入座：1. Google爬虫名称1.1 Googlebot：从Google的网站索引和新闻索引中抓取网页1.2 Googlebot-Mobile针对Google的移动索引抓取网页1.3 Googlebot-Image：针对Google的图片索引抓取网页1.4 Mediapartners-Google：抓取网页确定AdSense 的内容。
只有在你的网站上展示AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。
1.5 Adsbot-Google：抓取网页来衡量AdWords 目标网页的质量。
只有在你使用Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。
2. 百度（Baidu）爬虫名称：Baiduspider3. 雅虎（Yahoo）爬虫名称：Yahoo Slurp4. 有道（Yodao）蜘蛛名称：YodaoBot5. 搜狗（sogou）蜘蛛名称：sogou spider6. MSN的蜘蛛名称：Msnbot其他的搜索引擎我们使用得很少，就不需要理会了。
清理 iis 日志
清理IIS日志是一个重要的维护任务，可以帮助释放存储空间并提高系统性能。
在清理IIS日志之前，需要先备份日志文件，以防需要回顾或分析这些日志。
在清理IIS日志时，需要根据实际需求选择适当的策略。
常见的策略包括按日期清理、按文件大小清理以及保留最近的日志文件等。
按日期清理可以根据需求保留最近几天、几周或几个月的日志文件，较早的日志文件会被删除。
按文件大小清理可以根据设置的大小阀值来清理日志文件，可以选择只保留最新的几个文件，或者保留指定大小的文件，超出数量或大小的文件会被删除。
保留最近的日志文件可以在清理时保存最近的几个日志文件，以保留一定的历史日志信息。
在执行清理操作时，可以选择手动执行或者使用自动清理工具。
手动执行需要登录到服务器并导航到存放IIS日志的文件夹，然后删除相应的日志文件。
自动清理工具可以定时运行并自动清理过期的日志文件，例如使用IISLogCleaner.exe工具。
在清理IIS日志时，还需要注意一些事项。
首先，需要确保备份了重要的日志文件，以防误删除了需要的文件。
其次，在选择清理策略时需要谨慎，不要过度清理导致重要的日志信息丢失。
最后，在执行清理操作时需要小心，避免误删除了其他重要的系统文件。
总之，清理IIS日志是一个必要的维护任务，可以根据实际情况选择适当的策略和工具进行清理。
同时需要注意备份和谨慎操作，以避免不必要的损失和风险。
清理iis日志
清理iis日志IntroductionIIS（Internet Information Services）是一款由微软开发的Web服务器软件。
在使用IIS运行网站的过程中，系统会生成大量的日志文件，记录了用户的访问情况、错误日志、性能指标等信息。
随着时间的推移，这些日志文件会不断增长，占据服务器硬盘空间，影响系统运行性能。
因此，定期清理IIS日志对于保持服务器的正常运行至关重要。
Why clean IIS logs?1. 节约硬盘空间：随着日志文件的增长，服务器的硬盘空间可能会被占满，导致系统运行变慢甚至停止响应。
清理IIS日志可以释放硬盘空间，提高服务器的整体性能。
2. 优化性能：IIS日志文件记录了用户的访问情况、错误日志以及性能指标等信息。
当这些日志文件过多时，会增加系统的负担，在处理请求时消耗更多的资源。
清理日志可以减少系统的负担，提高网站的响应速度。
3. 提高安全性：IIS日志记录了用户的访问行为，包括IP地址、访问时间、请求路径等信息。
这些日志有助于进行安全审计和追踪异常行为。
然而，日志也可能包含敏感信息，如用户名、密码等。
定期清理日志可以降低敏感信息泄漏的风险。
How to clean IIS logs?1. 备份日志：在清理日志之前，建议先进行备份，以防止误删或数据丢失。
可以将日志文件复制到另一个磁盘或存储设备上，确保数据的安全性。
2. 删除旧日志：根据需求，可以删除一段时间以前的日志文件。
首先，找到IIS日志文件所在的目录，一般默认为C:\inetpub\logs\LogFiles。
然后，选择要删除的日志文件，并将其移至回收站或直接删除。
请注意，只删除旧的、不再需要的日志文件，以避免误删重要数据。
3. 设置日志滚动：通过设置日志滚动策略，可以在一定的时间间隔或日志文件大小达到一定阈值后，自动将当前日志文件重命名并创建新的日志文件。
这样可以避免日志文件过大而影响系统性能。
可以在IIS的管理界面中找到日志滚动的相关设置。
SEOer如何通过IIS日志来查看百度蜘蛛的爬行痕迹
SEOer如何通过IIS日志来查看百度蜘蛛的爬行痕迹百度蜘蛛，英文名是“Baiduspider”是百度搜索引擎的一个自动程序。
它的作用是访问互联网上的网页、图片、视频等内容，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。
什么是IIS日志首先，Internet Information Server的缩写为（IIS）是一个World Wide Web server。
Gopher server和FTP server全部包容在里面。
IIS意味着你能发布网页，并且有ASP（Active Server Pages）、JA V A、VBscript产生页面，有着一些扩展功能。
IIS支持一些有趣的东西，象有编辑环境的界面（FRONTPAGE）、有全文检索功能的（INDEX SERVER）、有多媒体功能的（NET SHOW）其次,IIS是随Windows NT Server 4.0一起提供的文件和应用程序服务器，是在Windows NT Server上建立Internet服务器的基本组件。
它与Windows NT Server完全集成，允许使用Windows NT Server内置的安全性以及NTFS文件系统建立强大灵活的Internet／Intranet站点。
很多时候，SEOer在优化的时候，会遇种种的问题，比如，网站的空间是否稳定，网站的内容是否得到蜘蛛的青睐，蜘蛛爬行的频率，网站的排名为什么会下降，这些问题，我们都可以通过IIS日志来分析，有利利于帮助网站的排名。
IIS日志的作用：通过站点的IIS日志我们可以了解搜索引擎对我们站点的爬行情况，包括搜索引擎的爬行轨迹和爬行量，进而分析出我们建设的外链对爬行的影响，我们把外链形容为搜索引擎蜘蛛进入我们站点的入口，同时IIS记录则会记录下搜索引擎蜘蛛从入口爬入的记录。
站点的更新频率与搜索引擎的抓取频率存在着一定的关系，一般来说，更新的频率高则搜索引擎爬行得越勤。
iis用法
IIS (Internet Information Services) 是微软开发的用于托管和提供Web 服务的软件。
它是一个在Windows 操作系统上运行的Web 服务器。
以下是一些关于IIS 的常见用法和功能：1. Web 服务器: IIS 作为一个强大的Web 服务器，可以托管和提供网站、Web 应用程序和服务。
它支持HTTP、HTTPS、FTP、SMTP 等协议。
2. 和PHP 支持: IIS 可以运行和托管 网站和应用程序，同时也能支持PHP 等其他服务器端语言。
3. 虚拟主机和站点: 使用IIS，你可以设置和管理多个虚拟主机或站点。
每个站点可以拥有独立的配置、域名和应用程序池。
4. 安全性: IIS 提供了安全性配置选项，包括访问控制、SSL/TLS 支持、IP 地址限制等功能，用于保护服务器和应用程序免受恶意攻击。
5. 日志和监控: IIS 提供详细的访问日志和性能监控工具，用于分析网站流量、调试问题以及监视服务器性能。
6. 管理工具: IIS 提供了图形化的管理工具（如IIS Manager）和命令行工具（如appcmd），用于管理网站、应用程序池、虚拟目录等配置。
7. 扩展性: 可以通过安装各种模块和扩展来扩展IIS 的功能，满足特定的需求，例如URL 重写、压缩、身份验证等。
8. 性能优化: IIS 具有许多功能和设置，可以帮助优化网站和应用程序的性能，包括输出缓存、静态内容压缩、并发连接限制等。
9. 应用程序池: 可以配置不同的应用程序池来隔离和管理不同的应用程序，确保它们在运行时互不干扰，提高系统稳定性和安全性。
10. 自动化和脚本支持: IIS 可以通过命令行工具和脚本自动化配置和管理，方便系统管理员进行批量操作和自动化部署。
总之，IIS 是一个功能强大且灵活的Web 服务器，适用于托管各种类型的网站和应用程序，并提供了多种工具和功能来管理、保护和优化Web 服务。
IIS服务器日志分析详解
IIS服务器日志分析详解查看服务器IIS服务器日志是在Windows文件夹.>>>>system32>>LogFiles>>W3SVC1下的.Log文件。
打开一个IIS的日志,我们在最上边大约第三行能够看到一个表头,像这样:#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-querys-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status 这是日志每行中每个字段的名称,我们看到的"200 0 64"是最后3个,那就是sc-status sc-substatus sc-win32-status 这三个了,来看看这三个是什么东西: sc-status:HTTP协议的状态.HTTP协议的状态代码为200,这个可能大家不熟悉,但是,HTTP404找不到文件,HTTP500内部服务器错误,这两个状态代码大家应该很熟悉了吧? 不错,这个200,其实就是这个的一种,HTTP200就是文件被正常的访问了,只有这个数字是200以外的数字,才说明访问出现了错误(比如上面说的 404文件找不到等).sc-substatus:HTTP子协议的状态.一般来说网站都是不使用子协议的,所以这个代码为0就是很正常的,我们完全可以不用管它.sc-win32-status:Win32状态.这只是表示客户端是否为32位系统的代码.如果被32位的系统访问,那么这里记录的就是0,如果被64位系统访问,那么这里记录的就是64……比如说：2007-12-03 07:33:25 61.135.145.208 - *.*.*.* 80 GET/index/119.htm - 304 Baiduspider+ (+/search/spider.htm) 这就意味着百度蜘蛛在2007-12-03 07:33:25爬过/index/119.htm这一页，它发现这页是没有更新过的。
如何查看网站日志中搜索引擎蜘蛛的来访记录
对于很多做网站的新手来说，都没有经过系统地授课进行网络技术和建站知识学习，做网站都是靠自学，遇到难题在论坛发帖提问，更不会懂得网站优化，对于较基本操作——通过网站日志看蜘蛛来访情况都不知到哪里看，怎么看。
前两天看到很多人发帖提问，回复者的答案却比较精炼，不具体，提问者还是云里雾里的，现我就以自己的网站来系统地操作一次，提交给大家参考，有说错的地方，请批评指正。
1、打开FTP登录软件，我用的是FlashFXP，登录空间FTP登录FTP后，你会发现根目录下有一个wwwlogs文件夹，(有的是weblog，注：不同的服务器空间生成的日志文件目录名称不一样，仅供参考，一般文件夹中包含Log字符的就是日志文件夹)。
2、打开wwwlogs文件夹后，里面有一些以日期格式特征为文件名的.gz后缀结尾的文件，这些就是我们需要下载到本地的日志文件。
3、下载到电脑桌面后，解压缩打开，里面是一个记事本格式的文件，打开文件，看到的是下图这样的代码，我下载的是3月7日的那个文件。
4、分析代码上图1是百度蜘蛛的IP地址;2是蜘蛛来访日期时间(2012年3月6日1时21分22秒)，3月7日的日志文件记录的是从3月6日凌晨开始，至3月7日1时11分39秒整个时间段的n多次来访记录);3是百度蜘蛛baiduspider4是我网站被访问的网页地址;5是sogou 搜狗蜘蛛的来访，同样也能看到时间和被访网页。
如果是简单的查看，您可以在记事本中搜索baiduspider ，如果想精确分析，可借助一些专用的分析软件。
分析下哪些时间段百度蜘蛛来的最频繁，那么我们就在这个时间段更新我们的网站内容，很容易被百度收录的。
通过分析蜘蛛来访纪录，可以了解本站的大体情况，而不用再为百度不放出内页或者不收录的问题而苦恼了。
蜘蛛来访正常，可以确切的说，搜索引擎对你的站很友好的，坚持更新自己的网站，会有不错的收录的。
注：有些共享IP空间可能不支持日志功能，对于独立ip虚拟主机则提供每天的日志下载，而实在没有可以日志功能的空间可以参考使用蜘蛛爬行插件的一些方法进行分析。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
IIS日志的重要作用-蜘蛛爬行与网站优化
从iis日志的我们不但可以了解到访问网站的信息，比如说访问者的ip，浏览器，是否访问成功等等的信息。
同时还可以发掘有利于我们网站优化的重要脚印--搜索蜘蛛的爬行记录。
一、搜索蜘蛛对iis日志的爬行分析
1.通过IIS日志可以了解蜘蛛对网站的基本爬取情况，可以知道蜘蛛的爬取轨迹和爬取量，通过我们的IIS日志，外链的多和少和网站蜘蛛的爬取量是有直接影响的，我们所说的链接诱饵就是如果你做了一个外链，蜘蛛在爬取这个外链页面并把页面放出来时，蜘蛛可以通过你留的这个链接来爬取你的网站，而IIS日志正是会记录下蜘蛛的这次爬取行动。
2.网站的更新频率也和IIS日志中蜘蛛抓取的频率有关，一般来说更新频率越高，蜘蛛的抓取频率越高，而我们网站的更新不仅仅只是新内容的添加同时还有我们的微调操作。
3.我们可以根据IIS日志的反应情况，对我们的空间的某些事情和问题提前进行预警，因为服务器如果出问题的话在IIS日志中会第一时间反映出来，要知道服务器的稳定速度和打开速度两者都会直接影响我们的网站。
4.通过IIS日志我们可以知道网站的那些页面是很受蜘蛛欢迎的，而哪些页面是蜘蛛连碰都不去碰的，同时我们还能发现有一些蜘蛛由于是过度爬取对我们的服务器资源损耗是很大的，我们要进行屏蔽工作。
搜索蜘蛛爬行记录案例分析：
查看日志的后缀名是log。
我们可以用记事本打开（或者用第三方工具进行查看），选择格式里的自动换行这样看起来方便，同时用搜索功能搜索BaiduSpider和Googlebot这两个蜘蛛。
例如：
百度蜘蛛
2012-03-1300:47:10W3SVC177116.255.169.37GET/-80-220.181.51.144 Baiduspider-favo+(+baidu/search/spider)2000015256197265?
谷歌机器人
2012-03-1308:18:48W3SVC177116.255.169.37GET/robots.txt-80-222.186.24.26Googlebot/2.1+(+google/bot)2000098520031?
我们分段来解释
2012-03-1300:47:10蜘蛛爬取的日期和时间点
W3SVC177这个是机器码这个是惟一的我们不去管它
116.255.169.37这个IP地址是服务器的IP地址
GET代表事件
GET后面就是蜘蛛爬取的网站页面，斜杠就代表首页
80是端口的意思
220.181.51.144这个IP则是蜘蛛的IP，这里告诉大家一个鉴别真假百度蜘蛛的方法，我们电脑点击开始运行输入cmd打开命令提示符，输入nslookup空格加蜘蛛IP点击回车，一般真百度蜘蛛都有自己的服务器IP而假蜘蛛则没有。
拓宽卫士竞价推广防恶意点击网络营销中心
二、如何下载日志及日志设置注意事项
1.首先我们的空间要支持IIS日志下载，这一点是很重要的，在我们购买空间之前必须要先问好支不支持IIS日志下载，因为有的服务商是不提供这项服务的，如果支持的话空间后台一般都有日志WebLog日志下载这个功能把它下载到根目录在用FTP传到本地就可以，服务器的话可以设置将日志文件下载到指定路径。
2.这里有个很重要的问题，IIS日志强烈建议设置成每小时生成一次，小型的企业站和页面内容较少的网站可以设置成一天，它默认是一天，如果内容多或者大型站设置成一天生成一次，那么一天只生成一个文件，这个文件会相当的大，我们有时电脑打开是会造成死机，设置的话找空间商协调设置即可。
拓宽卫士竞价推广防恶意点击网络营销中心。