robots.txt 是一個協議，而不是一個命令。 robots.txt 是搜尋引擎中訪問網站的時候要檢視的第一個檔案。 robots.txt 檔案告訴蜘蛛程式在伺服器上什麼檔案是可以被檢視的。當一個搜尋蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在 robots.txt，如果存在，搜尋機器人就會按照該檔案中的內容來確定訪問的範圍; 如果該檔案不存在，所有的搜尋蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。百度官方建議，僅當您的網站包含不希望被搜尋引擎收錄的內容時，才需要使用 robots.txt 檔案。如果您希望搜尋引擎收錄網站上所有內容，請勿建立 robots.txt 檔案。
舉例：
如果將網站視為酒店裡的一個房間，robots.txt 就是主人在房間門口懸掛的 「請勿打擾」 或 「歡迎打掃」 的提示牌。這個檔案告訴來訪的搜尋引擎哪些房間可以進入和參觀，哪些房間因為存放貴重物品，或可能涉及住戶及訪客的隱私而不對搜尋引擎開放。但 robots.txt 不是命令，也不是防火牆，如同守門人無法阻止竊賊等惡意闖入者。
這裡不給時間大家看了，看完教程再仔細閱讀一下，很容易理解的，其實就是 SEO 中的環節，做 SEO 的人都知道，這個檔案很常用，為了不讓百度蜘蛛抓取你的一些不重要的頁面，或是你想百度蜘蛛抓取你的什麼頁面，就靠這個檔案來控制即可，所以就給了我們入侵者大大的方便，根據我的經驗
有的時候各種掃目錄，也找不到後臺的時候，小心翼翼的訪問一下這個檔案，蛋疼的你就發現這個檔案裡面很多目錄，其中可愛的後臺地址就赫赫的展現在上面，你訪問一下就獲得後臺地址了!
下面來實戰一下，讓大家看看效果
看目錄，就知道是織夢程式 這個 ICO 也能看出。
User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
這個沒有後臺地址，至少我沒看出可疑的檔案，原來是預設後臺地址 dede/
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow：不允許蜘蛛抓取的意思 一看就知道這是後臺地址，試試，對吧
#
# robots.txt for Discuz! X3
#
User-agent: *
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /static/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /home.php?mod=spacecp*
Disallow: /userapp.php?mod=app&*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
透過這裡，可以看出這個是 Discuz! X3 程式 x3 版本的，是一個論壇
1. 可以獲取後臺地址 效率不錯
2. 可以獲得網站程式名稱
入侵的時候，別忘了這個檔案即可! 教程結束