mesin pencari archie

Archie

Mesin pencari pertama yang muncul saat itu adalah Archie. Ada pula yang menyebutnya dengan Archive. Bentuknya merupakan situs berbentuk FTP yang menyediakan daftar situs yang bisa diunduh oleh mereka yang membutuhkan.
Karena kapasitas yang masih sangat terbatas, Achie hanya menyediakan nama situs saja dalam daftar yang mereka buat. Tapi untuk konten dari situs tersebut tidak ada keterangannya.
Di era ini, standar sebuah mesin pencari sudah mulai dibangun. Adalah Martijn Kojer yang membuat semacam standardisasi sebuah mesin pencari. Sistem bernama Robots ini bisa mengetahui apakah harus mengindeks atau tidak terhadap isi dari sebuah situs.
Namun demikin, para Webmaster bisa menahan robots agar tidak mengindeks situs mereka. Atau bisa hanya mengindeks beberapa halaman situs saja.