Googlebot adalah nama untuk web crawler Google. Googlebot adalah nama untuk dua jenis crawler : crawler desktop yang menyimulasikan pengguna di desktop dan crawler seluler yang menyimulasikan pengguna di perangkat seluler. Situs kita kemungkinan akan di-crawl oleh Googlebot Desktop dan Googlebot Smartphone. kita dapat mengidentifikasi subjenis Googlebot dengan melihat string agen pengguna dalam permintaan. Namun, kedua jenis crawler tersebut mematuhi token produk yang sama (token agen pengguna) di robots.txt, sehingga kita tidak dapat menargetkan Googlebot Smartphone atau Googlebot Desktop secara selektif menggunakan robots.txt.
Untuk mengetahui jenis Googlebot yang digunakan pada website, Kita dapat melihatnya pada Google Search Console. 1. Login ke Google Search Console 2. Pilih menu settings 3. Perhatikan bagian About 4. Lihat Indexing crawler Pada bagian tersebut akan muncul jenis Googlebot yang digunakan. Jika yang digunakan adalah Googlebot Smartphone, maka akan dicantumkan juga pada tanggal berapa peralihan dari Googlebot Desktop ke Googlebot Smartphone dilakukan
Googlebot sangat mempengaruhi keberhasilan suatu proses crawl yang dilakukan oleh Google. Seperti yang kita ketahui bahwa crawl merupakan tahapan pertama cara kerja suatu search engine seperti Google. ketika proses ini bermasalah maka dapat berefek pada posisi pada halam hasil pencarian Google. Perlu kita ketahui bahwa sebuah cara kerja search engine ada tiga yaitu Crawl, Indexing dan Ranking : 1. Crawl merupakan proses yang digunakan oleh bot search engine untuk mengunjungi halaman baru dan yang diperbarui untuk ditambahkan ke indeks. 2. Indexing adalah proses yang dilakukan Google atau mesin pencari yang lain dalam memahami elemen-elemen dalam suatu halaman. 3. Proses ranking Google adalah proses pemberian peringkat pada hasil pencarian Google dan menayangkannya kepada pengguna.
1. Googlebot Image 2. Googlebot News 3. Googlebot Video 4. Googlebot Desktop 5. Googlebot Smartphone
Google memberi kita beberapa cara untuk mengontrol apa yang diindeks dan dirayapi. Cara untuk mengontrol perayapan: 1. Robots.txt : File ini di situs web memungkinkan kita untuk mengontrol apa yang dirayapi. 2. Nofollow : Attribute tautan atau tag meta robot yang menyarankan agar tautan tidak diikuti. hanya dianggap sebagai petunjuk, jadi diabaikan. 3. Crawl Budget : Dengan menggunakan fitur crawl budget di Google Search Console yang lama mungkin dapat memperlambat perayapan Google. Cara untuk mengontrol pengindeksan 1. Hapus konten : Jika kita menghapus halaman, maka tidak perlu diindeks. kelemahan hal ini adalah tidak ada orang lain yang mengaksesnya. 2. Batasi akses ke konten : Jika kita membatasi akses sebuah konten maka Google tidak masuk ke konten tersebut, jadi segala jenis perlindungan seperti kata sandi atau autentikasi akan mencegah Google melihat konten. 3. Noindex = Noindex di tag meta robot memberi tahu mesin untuk tidak mengindeks halaman. 4. Alat penghapusan URL : Alat ini dari Google sedikit menyesatkan, karena cara kerja akan menyembunyikan konten untuk sementara. Google masih akan melihat dan merayapi konten ini, tapi laman tidak muncul di hasil penelusuran. 5. Robots.txt : Memblokir Gambar Googlebot dari perayapan berarti gambar Anda tidak akan diindeks.
Kebanyakan dari situs, rata-rata Googlebot tidak akan mengakses situs kita lebih dari beberapa detik sekali. Dalam hal ini , akibat penundaan jaringan, bisa jadi kecepatan crawling akan sedikit lebih tinggi dalam periode waktu yang singkat. Googlebot dirancang untuk menjalankan bersamaan oleh ribuan perangkat guna meningkatkan performa. Untuk dapat mengurangi penggunaan bandwidth, Google menjalankan banyak crawler di perangkat yang terletak di dekat server situs yang akan di-crawl. Hal ini menyebabkan pada log situs kita terlihat kunjungan dari beberapa perangkat berbeda tapi dengan user agent yang sama, Googlebot. Tujuan Google adalah meng-crawl sebanyak mungkin halaman situs tanpa membebani bandwidth server. Jika situs kita kesulitan mengimbangi permintaan crawling Google, kita dapat meminta perubahan kecepatan crawling seperti yang sudah disampaikan di atas.
Berikut langkah atau proses kerja Googlebot: 1. Robot Google mengunjungi sebuah website serta seluruh link internal backlink maupun eksternal backlink yang terdapat di dalamnya. Adanya keberadaan backlink penting dalam hal ini, banyak manfaat backlink yang bisa kita dapatkan di sebuah website, terutama pada website bisnis. 2. Jika website kita merupakan website yang baru dan belum terdapat link didalamnya, kita dapat memasukan URL yang ada di situs ke dalam Google Search Console yang memancing robot Google untuk mendatangi situs. 3. Googlebot akan mencatat link yang ditemukan lalu akan memasukan ke dalam database Google untuk indeks. Link yang terdapat pada indeks hanya link dari dalam yang bersifat publik. sebab web crawler tidak mencatat halaman yang tidak bisa diakses karena private. 4. Informasi yang disimpan pada Googlebot adalah tulisan serta meta tag. 5. Informasi tersebut akan disimpan ke dalam indeks pencarian, agar dapat muncul ketika user melakukan pencarian pada keyword.
Sebelum memutuskan untuk memblokir Googlebot, perlu kita perhatikan bahwa string agen pengguna yang digunakan oleh Googlebot sering di-spoofing oleh crawler lain. Penting untuk memverifikasi bahwa permintaan yang bermasalah benar-benar berasal dari Google. Cara terbaik untuk memverifikasi bahwa permintaan benar-benar berasal dari Googlebot adalah dengan menggunakan pencarian DNS terbalik di IP sumber permintaan, atau mencocokkan IP sumber dengan rentang IP Googlebot.
Sebagai pemilik website, kita di bolehkan untuk memberikan URL baru ke crawler yaitu menyediakan bot alamat sebagai URL awal. karena bot akan menemukan konten dan tautan tambahan dari situs web lain melalui tautan , tautan HREF pada sumber daya tertentu untuk memastikan bahwa bot akan menerima URL baru. Kita cukup mengirim ping ke WWW. Cepat atau lambat, Googlebot akan menemukan alamat yang diunggulkan. selain itu, disarankan untuk memberikan peta situs ke bot. Ini untuk memberikan informasi penting tentang struktur situs web dan saat yang sama akan mengetahui URL mana yang dapat diikuti. Karena Googlebot dapat membaca berbagai konten, bukan hanya teks atau gambar, Kita dapat mengawasi perkembangannya, Google telah bekerja selama beberapa tahun dalam membaca konten Flash, halaman web dinamis, kode JavaScript dan Ajax sebagian sudah berhasil di bidang ini. Metode tertentu seperti GET atau POST sudah dapat diidentifikasi oleh Googlebot dan bagian-bagian dari konten Flash juga dapat dibaca.
Kesempatan lowongan magang terbaru di tahun 2024
Baca Selengkapnya..