對于那些動態(tài)生成網(wǎng)頁，我們這些實際的訪問者可以通過肉眼看到。但對于大多數(shù)搜索引擎的蜘蛛程序卻往往是不可見的，這也就是動態(tài)網(wǎng)頁很難被搜索引擎的SPIDER檢索的原因。因而，要想讓你的動態(tài)網(wǎng)頁能夠出現(xiàn)在搜索引擎的搜索結(jié)果中，只要保證你的網(wǎng)站內(nèi)容對搜索引擎是可見的，即搜索引擎的Spider程序能夠看到你網(wǎng)站的內(nèi)容就可以了

　　所謂動態(tài)網(wǎng)頁一般指的是采用ASP，PHP，Cold Fusion，CGI等程序動態(tài)生成的頁面，該網(wǎng)頁中的大部分內(nèi)容來自與網(wǎng)站相連的數(shù)據(jù)庫。在網(wǎng)絡(luò)空間中并不存在這個頁面，只有接到用戶的訪問要求后才生成并傳輸?shù)接脩舻臑g覽器中。而且由于訪問者能夠?qū)崟r得到他們想要的數(shù)據(jù)，動態(tài)網(wǎng)頁往往容易給人留下深刻的印象。此外，動態(tài)網(wǎng)頁還具有容易維護和更新的優(yōu)點。例如，對于一個新產(chǎn)品或價格的調(diào)整。網(wǎng)站管理員只要對數(shù)據(jù)庫做一下簡單的改動就可以了，根本不需要去修改每個單獨的靜態(tài)頁面。
　　
我們可以看出，從用戶角度來考慮，動態(tài)網(wǎng)頁確實非常棒。但如果在搜索引擎的角度來看，結(jié)論卻不同了。優(yōu)化動態(tài)網(wǎng)站，動態(tài)網(wǎng)站的常用優(yōu)化方式

動態(tài)網(wǎng)頁的問題所在：
　　
問題就出在這些動態(tài)網(wǎng)頁在網(wǎng)絡(luò)空間中并不是實際存在的，只有當用戶在變量區(qū)中輸入一個值以后它們才會生成。而我們大家也都知道，搜索引擎的Spider再聰明，它也只是一個搜索程序，它們無法象真正的人那樣選擇變量并輸入數(shù)值。
　　
亦可將查詢編入主頁上的一個鏈接中，使得該鏈接成為一個預先定義的網(wǎng)站目錄的查詢。用戶可在一個搜索表格中鍵入查詢條件來查詢，通常動態(tài)腳本需要某些信息來返回頁面內(nèi)容，最常見的如Cookie數(shù)據(jù)，Session ID或一個環(huán)境變量。但對搜索引擎的Spider程序來說，它們壓根不可能知道去使用你的搜索功能，或者該問什么問題。就是因為如此，Spider對網(wǎng)站的檢索往往會在一個動態(tài)站點前不得不止步。
　　
此外，在動態(tài)頁的URL中包含了問號(?)和百分號(%)。還有一些符號諸如&，%，+和$等在一個動態(tài)頁的URL中也經(jīng)常能看到。這樣的URL被稱作“環(huán)境變量”(query string)。不過大多數(shù)SPIDER都無法解讀符號“?”后的字符。例如，對于這樣一個URL：http://www.americanbooks.com/cgi-bin/items.cgi?name=naturaldiet大多數(shù)SPIDER都只能讀取符號“?”之前的字符。URL中的“?”對它們來說是一個“停止標記”，這樣它們最終檢索到的URL只能是：http://www.americanbooks.com/cgi-bin/items.cgi
　　
很顯然，由于這個URL并不實際存在，所以它們一無所獲。因此，如果你的整個網(wǎng)站或網(wǎng)站上有大部分網(wǎng)頁都是采用動態(tài)來生成的，為了使SPIDER易于讀取你網(wǎng)站上的內(nèi)容，你需要對網(wǎng)站做一定的修改。優(yōu)化動態(tài)網(wǎng)站，動態(tài)網(wǎng)站的常用優(yōu)化方式
　　
還有一些搜索引擎在對頁面進行檢索時往往也會拒絕對cgi-bin目錄下的靜態(tài)頁面(即被保存成靜態(tài)頁面的動態(tài)頁)URL進行檢索。例如，對下面兩個URL它們就不提供檢索：
　　http://www.americanbooks.com/cgi-bin/items.phpl
　　http://www.americanbooks.com/cgi/items.phpl

搜索引擎為何不讀取符號“?”后的內(nèi)容：

　　搜索引擎的SPIDER不愿意讀取放在cgi-bin目錄下的網(wǎng)頁，或是URL中包含了符號“?”的字符。其原因就在于，如果在CGI中提供了“無窮”數(shù)量的URL，那么SPIDER往往就會因為對這些“無窮”網(wǎng)頁的檢索而被牢牢套住，陷入死循環(huán)。這就是所謂的蜘蛛陷阱(spider traps)。數(shù)據(jù)庫程序?qū)PIDER亦有可能創(chuàng)建一個與此類似的情形。因而為避開可能的陷阱，Spider對于那些帶有符號“?”的URL中的“?”之后的字符一概不予讀取。
　　
倘若Spider被你的服務(wù)器套住，不只是對Spider本身不妙，Spider對你網(wǎng)站頁面的重復訪問請求也會導致你的服務(wù)器系統(tǒng)徹底癱瘓。

以http://www.americanbooks.com/cgi-bin/items.cgi?name=naturaldiet 為例：從其URL中我們可以看出，它表明網(wǎng)站americanbooks.com中提供有天然減肥產(chǎn)品相關(guān)的內(nèi)容。遺憾的是，由于Spider不支持動態(tài)生成頁，從而導致了該動態(tài)頁上的相關(guān)內(nèi)容無法得到搜索引擎的索引。假設(shè)現(xiàn)在有一個競爭者，他也有一個與天然減肥產(chǎn)品類似內(nèi)容的網(wǎng)頁，但由于他的網(wǎng)頁是靜態(tài)頁面，所以能夠得到搜索引擎的索引。那么可想而知，那些搜索“天然減肥產(chǎn)品”的用戶最后訪問的會是誰的網(wǎng)站。而且，就算americanbooks.com上提供的具體內(nèi)容比它的競爭者再好又能怎樣呢？就因為它無法出現(xiàn)在搜索引擎的搜索結(jié)果中，所以只能把網(wǎng)上銷售的好機會拱手讓給他的競爭者了。
　　
對這個問題的解決方案可以遵循一個思想：即更改動態(tài)網(wǎng)頁的URL，使URL中不再包含符號“?”“=”和其它類似的符號，看起來象一個靜態(tài)的URL。不同程序開發(fā)的動態(tài)頁的不同解決方案：

ASP
　　
ASP(Active Server Pages: Web 服務(wù)器端動態(tài)網(wǎng)頁開發(fā)技術(shù))被用于基于微軟的網(wǎng)絡(luò)服務(wù)器中。使用ASP開發(fā)的網(wǎng)頁，一般后綴名為.asp。ASP 由于其簡單功能實用等方面受到廣大朋友的喜歡，再加上微軟的強大支持，可說是時下網(wǎng)頁開發(fā)最為流行的語言之一。只要避免在URL中使用符號“?”，大多數(shù)搜索引擎都能夠支持用ASP開發(fā)的動態(tài)網(wǎng)頁。
　　
那么對用了“?”的URL怎么辦呢？針對這個問題，有家名叫“Exception Digital Enterprise Solutions”的公司推出了他們的解決方案 –xqasp。這是一個升級軟件。它允許將URL中的符號“?”通過網(wǎng)絡(luò)服務(wù)器轉(zhuǎn)換為“/”。更多相關(guān)信息請訪問：http://www.xde.net/products/product_xqasp.php 還有一些價格相對低廉一些的解決方案，象ASPSpiderBait和 PortalPageFilter。

• CGI/ Perl
　　
如果你在網(wǎng)站中使用的是CGI或者Perl，可用一個腳本拾取環(huán)境變量前的所有字符，再將URL中剩余的字符賦值給一個變量。這樣，你就可以在URL中使用該變量了。
　　
路徑信息(或腳本名稱)是動態(tài)應(yīng)用程序中的一個變量，該變量包含了完整的URL地址和環(huán)境變量信息。這樣，腳本就從路徑信息變量中獲取環(huán)境變量前的字符，并將剩余字符代入一變量。
　　
不過，對于那些內(nèi)置了部分SSI(Server-Side Include：服務(wù)器端嵌入)內(nèi)容的網(wǎng)頁，主要的搜索引擎都能夠提供索引支持。那些以.shtml為后綴名的網(wǎng)頁也被解析成SSI文件，相當于通常的.phpl文件。但如果這些網(wǎng)頁在其URL中使用的是cgi-bin路徑，則仍有可能不被搜索引擎索引。

Apache 服務(wù)器
　　
Apache是最流行的HTTP服務(wù)器軟件之一。它有一個叫做 mod_rewrite的重寫模塊，該模塊能夠使你將包含環(huán)境變量的URL轉(zhuǎn)換為能夠為搜索引擎支持的URL類型。不過Mod_rewrite不是Apache軟件安裝中的缺省模塊，所以你應(yīng)當與你的主機托管公司進行協(xié)商，看看在你的服務(wù)器上是否有此模塊。
　　
還是用上面的URL作為例子：使用mod_rewrite模塊后，該URL http://www.americanbooks.com/items.php?cat=natural_diet 就變成了如下格式： http://www.americanbooks.com/natural_diet/index.php 欲了解更多該模塊的相關(guān)信息，請訪問http://httpd.apache.org/docs/mod/mod_rewrite.phpl

可通過付費收錄程序直接提交動態(tài)網(wǎng)頁：
　　
直接將動態(tài)網(wǎng)站提交到AltaVista可增加你的網(wǎng)站為其收錄的機會。如果將其經(jīng)由AltaVista或Inktomi的付費收錄程序進行提交，就一定能夠保證網(wǎng)站的收錄。

Cold Fusion
　　
如果你使用的是Cold Fusion，那么你就需要在你的服務(wù)器端重新對其進行配置。用Cold Fusion進行開發(fā)的網(wǎng)頁一般都以.cfm為文件擴展名。一般情況下，數(shù)據(jù)庫使用符號“?”來取回網(wǎng)頁。你可對Cold Fusion設(shè)置重新進行配置，使其能夠?qū)⒁粋€環(huán)境變量中的符號“?”用符號“/”代替，并將替換后的數(shù)值傳給URL。這樣一來，最后到達瀏覽器端的就是一個靜態(tài)的URL頁。即對于URLhttp://www.americanbooks.com/items.cfm?item_id=11667，最后返回瀏覽器的將是 http://www.americanbooks.com/items.cfm/11667，當搜索引擎對該轉(zhuǎn)換后的文件進行檢索時，它不會遭遇“?”，因而可繼續(xù)對整個動態(tài)頁的索引，從而使你的動態(tài)網(wǎng)頁對搜索引擎仍然具有可讀性。

文件擴展名：
　　
如今，你的文件名后綴是什么。對搜索引擎來說已經(jīng)不再是問題了，即使你的網(wǎng)頁不是以.phpl或.php為擴展名的，只要在URL中不包含符號“?”，仍有可能得到索引。相形之下，搜索引擎Northern ight尤為靈活，它能夠索引任何以.phpl, .php, .shtml, .stm, .asp, .phtml, .cfm, .php3, .php, .jsp, .jhtml, .asc, .text和.txt為擴展名的文件。不過它對后綴是.cgi的文件仍然不提供支持。如果你的網(wǎng)站上存在它不支持的擴展名文件，它會在網(wǎng)站提交的過程中通知你。

結(jié)束語：
　　
問問你自己，是不是確實需要使用動態(tài)網(wǎng)頁？數(shù)據(jù)庫通常用作頁面生成工具，你可以用它創(chuàng)建靜態(tài)頁面，尤其對于網(wǎng)站上不常更動的那些區(qū)域，可以考慮使用數(shù)據(jù)庫來生成靜態(tài)的頁面內(nèi)容。為了保證搜索引擎的索引，你也可以考慮為你的動態(tài)內(nèi)容創(chuàng)建鏡象靜態(tài)的網(wǎng)頁。
　　
大多數(shù)的搜索引擎還是不習慣對動態(tài)網(wǎng)頁的索引，到現(xiàn)在也如此。這是由于對一個動態(tài)生成網(wǎng)頁的檢索可能會導致搜索引擎的Spider掉進死循環(huán)的“陷阱”中而無法脫身。不過現(xiàn)在情況正在逐漸得到改善。 最先支持動態(tài)網(wǎng)頁的搜索引擎是Google，在兩千年底它已經(jīng)能夠索引動態(tài)頁面(包括URL中的“?”)。此外，HotBot及其它一些搜索引擎也開始支持動態(tài)頁面。
　　
雖然這些搜索引擎能夠支持動態(tài)網(wǎng)頁，但為了確保其Spider程序免遭死循環(huán)之災(zāi)，搜索引擎將不會對來自動態(tài)生成頁面中的鏈接進行深入訪問。所以我建議大家要稍微多花點時間在你的動態(tài)生成網(wǎng)頁上，并確保它們中的每一個都能夠被搜索引擎索引到。事實上，最后你會發(fā)現(xiàn)，你所花費的這些時間絕對是一個非常棒的投資－同時它還能夠為你的網(wǎng)站來更多的訪問量。