Pada awal berkembangnya internet, penggunanya dan informasi yang tersedia masih sedikit. Akses menuju internet masih terbatas hanya ilmuwan dan para ahli yang bekerja di universitas dan laboratorium, yang memanfaatkannya untuk sebagai akses terhadap informasi ilmiah. Pada saat itu, menemukan sebuah informasi tidaklah serumit seperti sekarang ini.
Direktori website adalah cara pertama yang digunakan untuk memfasilitasi akses terhadap sumber informasi pada network. Tautan atau link ke sumber informasi tersebut dikelompokkan berdasarkan topik. Proyek pertama ynag menggunakan model ini adalah Yahoo! pada tahun 1994. Ketika jumlah website yang masuk kedalam direktori Yahoo! meningkat tajam, pengembang Yahoo! kemudian membuat agar direktori mereka bisa ditelusuri (searchable). Tentu saja, pada saat itu, bentuknya belum berupa search engine karena pencarian masih terbatas pada sumber informasi yang ada dalam direktori mereka.
Dahulu, direktori link demikian telah digunakan secara meluas, namun kini sudah ketinggalan zaman. Alasannya cukup sederhana – bahkan direktori dengan berbagai macam resources hanya memberikan informasi yang sedkit pada internet. Misalnya, direktori terbesar di internet sekarang ini adalah DMOZ atau Open Directory Project (ODP). Direktori ini memiliki informasi sekitar lima juta resources. Bandingkan dengan database mesin pencari Google yang memiliki lebih dari delapan milyar dokumen.
Proyek WebCrawler dimulai tahun 1994 dan merupakan full-featured search engine pertama. Mesin pencari Lycos dan AltaVista berdiri tahun 1995, dan selama beberapa tahun AltaVista menjadi ‘pemain utama’ bidang ini.
Tahun 1997, Sergey Brin dan Larry Page menciptakan Google sebagai proyek riset di Stanford University , dan sekarang Google telah berubah menjadi search engine paling terkemuka di dunia.
Saat ini, ada tidak mesin pencari utama yaitu Google, Yahoo! dan MSN Search. Masing-masing mereka memiliki database dan algoritma pencarian sendiri-sendiri. Kebanyaka mesin pencari yang lain menggunakan hasil pencarian yang berasal dari ketiga mesin pencari utama tadi. Misalnya, AOL Search menggunakan database Google, sementara AltaVista, Lycos dan AllTheWeb menggunakan database Yahoo!.
Prinsip umum Search Engine
Untuk mengerti tentang Search Engine Optimization (SEO) anda harus tahu tentang arsitektur search engine. Semua mesin pencari mengandung komponen-komponen utama berikut ini :
Spider – sebuah program mirip-browser yang mengunduh (download) halaman-halaman web. Yang membedakannya dengan browser adalah bahwa sebuah browser menampilkan informasi yang disampaikan pada setiap halaman (text,graphic,dll), sementara spider tidak memiliki komponen visual, serta bekerja langsung dengan code HTML sebuah halaman.
Crawler – sebuah program yang secara otomatis mengikuti semua link yang ada pada setiap halaman. Program ini akan mencari semua link yang ada dalam sebuah halaman. Tugasnya adalah menentukan kemana spider harus pergi,baik dengan cara mengevaluasi semua link maupun berdasarkan daftar alamat (address) yang telah tersedia. Crawler ini akan mengikuti link-link tersebut untuk mencari dokumen yang belum dikenali oleh search engine.
Indexer – sebuah program yang menganalisa halaman-halaman web yang diunduh oleh spider dan crawler. Komponen ini menguraikan (parse) setiap halaman dan menganalisa berbagai elemen seperti text, header, struktur, tag HTML khusus, dan lain-lain.
Database – tempat penyimpanan semua halaman yang diunduh dan diproses. Ini adalag tempat penyimpanan semua data yang diunduh dan telah dianalisa oleh sebuah search engine. Kadang-kadang disebut juga sebagai index dari search engine.
Results engine – adalah ‘mesin’ yang menarik hasil-hasil pencarian dari database. Results engine ini akan memberi peringkat (rank) terhadap sebuah halaman. Mesin ini menetapkan halaman mana yang paling tepat bagi sebuah permintaan pencarian (search query) dan bagaimana susunan halaman-halaman tersebut diurutkan. Hal ini terlaksana berdasarkan algoritma pemeringkatan dari search engine. Hal ini menjadikan page rank sebuah property yang sangat berharga dan semua ahli SEO mengutamakan page rank ini dalam upaya meningkatkan hasil pencarian terhadap website mereka. Di tempat lain akan disampaikan pembahasan tentang page rank secara lebih terperinci.
Web server – sebuah server yang bertanggung jawab atas interaksi antara pengguna dan komponen search engine yang lain. Sebuah web server search engine umumnya memiliki sebuah halaman HTML dengan sebuah input field dimana pengguna memasukkan kata atau frasa kata yang akan dicari. Web server juga akan menampilkan hasil pencarian kepada pengguna dalam bentuk halaman HTML.
Kamis, 25 November 2010