User-agent: * Disallow: /admincp/ Disallow: /arcade/ Disallow: /archive/ Disallow: /cgi-bin/ Disallow: /clientscript/ Disallow: /cpstyles/ Disallow: /customavatars/ Disallow: /customgroupicons/ Disallow: /customprofilepics/ Disallow: /images/ Disallow: /includes/ Disallow: /modcp/ Disallow: /packages/ Disallow: /signaturepics/ Disallow: /vb/ Disallow: /ajax.php Disallow: /album.php Disallow: /announcement.php Disallow: /asset.php Disallow: /assetmanage.php Disallow: /attachment.php Disallow: /attachment_inlinemod.php Disallow: /blog_ajax.php Disallow: /blog_external.php Disallow: /blog_inlinemod.php Disallow: /blog_report.php Disallow: /blog_search.php Disallow: /blog_subscription.php Disallow: /blog_usercp.php Disallow: /calendar.php Disallow: /clear.gif Disallow: /converse.php Disallow: /cron.php Disallow: /editor.php Disallow: /editpost.php Disallow: /external.php Disallow: /faq.php Disallow: /global.php Disallow: /group_inlinemod.php Disallow: /groupsubscription.php Disallow: /image.php Disallow: /infraction.php Disallow: /inlinemod.php Disallow: /joinrequests.php Disallow: /list.php Disallow: /login.php Disallow: /member.php Disallow: /memberlist.php Disallow: /misc.php Disallow: /moderation.php Disallow: /moderator.php Disallow: /newattachment.php Disallow: /newreply.php Disallow: /newthread.php Disallow: /online.php Disallow: /payment_gateway.php Disallow: /payments.php Disallow: /picture.php Disallow: /picture_inlinemod.php Disallow: /picturecomment.php Disallow: /posthistory.php Disallow: /postings.php Disallow: /printthread.php Disallow: /private.php Disallow: /profile.php Disallow: /register.php Disallow: /report.php Disallow: /reputation.php Disallow: /search.php Disallow: /sendmessage.php Disallow: /sendtofriend.php Disallow: /showgroups.php Disallow: /showpost.php Disallow: /subscription.php Disallow: /threadrate.php Disallow: /threadtag.php Disallow: /usercp.php Disallow: /usernote.php Disallow: /visitormessage.php Disallow: /widget.php
正確設置404頁面 404頁面的設置是否正確直接關係到網站粘性,而現在很多網站的錯誤頁面返回碼都是200和302,只要蜘蛛爬行錯誤頁面不是404,那麼你的404頁 面設置就是錯誤的了,這裡跟大家介紹如何正確設置404頁面。 怎麼正確設置404頁面?很多人看到這個話題可能覺得下文不屑一顧,其實你是否知道自己的404頁面有沒有設置正確呢?很多開源的cms系統和博客 系統都會帶有404頁面,你是不是覺得這樣已經ok了?不用設置了?這些想法是錯誤的,我們做優化的時候,應該測試404頁面時候生效,設置是否正 確等。下面我們詳細說明怎麼設置404頁面。 這先說一下怎麼樣的404頁面才是有效的404頁面。大家應該都知道搜索引擎是通過http狀態碼來識別網頁狀態的,那麼當蜘蛛檢索到一個錯誤鏈 接時,就需要返回404狀態碼來告訴搜索引擎,這個頁面是錯誤頁面,以後不用索取了。而如果返回200,則告訴搜索引擎這個頁面是正常頁面。 所以我們要查看網站錯誤頁面的返回碼是200還是404,而現在很多網站的404頁面返回碼是200而不是404. 那怎麼正確設置404頁面?