Robots.txt
 | Artikel ini sebatang kara, artinya tidak ada artikel lain yang memiliki pranala balik ke halaman ini. Bantulah menambah pranala ke artikel ini dari artikel yang berhubungan. (September 2016) |
Standar pengecualian robot, juga dikenal sebagai protokol pengecualian robot atau protokol robots.txt, adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter.
Penemu "robots.txt" adalah Martijn Koster, saat bekerja di WebCrawler pada tahun 1994.[1]
Catatan kaki
Pranala luar
- History of robots.txt -(how Charles Stross prompted its invention; original comment on Slashdot)
- Robots Exclusion
- Using the robots.txt analysis tool
- Introduction to Robots.txt file Diarsipkan 2011-06-17 di Wayback Machine.
- About Robots.txt at the Mediawiki website
- List of Bad Bots - rogue robots and spiders which ignore these guidelines
- More info about Robots.txt
- Wikipedia's Robots.txt - an example
- Robots.txt Generator + Tutorial Diarsipkan 2010-09-26 di Wayback Machine.
- Robots.txt Generator Tool Diarsipkan 2011-01-01 di Wayback Machine.
 | Artikel bertopik komputer ini adalah sebuah rintisan. Anda dapat membantu Wikipedia dengan mengembangkannya. |
Content Disclaimer
Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.
- The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
- There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
- It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
- Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
- Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.