Googlebot mendatangi triliunan halaman web dan terus menerus mendatangi halaman-halaman tersebut.
Apa itu WebCrawler?
Sebenarnya Webcrawlers yang juga disebut sebagai bots, robots, atau spiders, hanyalah sejenis software yang didesain untuk mengikuti tautan-tautan/links dan mengumpulkan data dari setiap link.Googlebot mengambil konten dari halaman-halaman web, seperti kata-kata, kode, dan sumberdaya yang menyusun halaman web tersebut.
Kalau di dalam konten yang diambilnya ada link menuju halaman lain, maka link-link itu akan dicatat.
Googlebot dan Website Anda
Informasi yang diantarkan oleh Googlebot akan memperbarui index Google. Index inilah daerah di mana semua halaman web akan dibandingkan dan diberi ranking berdasarkan kata kunci.Makara langkah awal biar halaman situs web anda bisa ada di dalam index ini yaitu membuat situs web anda bisa terlihat dan bisa diakses oleh Googlebot.
Apakah Googlebot Bisa Melihat Halaman Web Saya?
Untuk mengetahui apa yang mampu dilihat oleh Googlebot dari situs anda, kerjakan hal ini di pencarian Google. Masukkan pencarian berikut:site:namadomain.comIni yakni perintah untuk menunjukkan semua halaman yang dikumpulkan Googlebot ke dalam Google index.
Dari sini anda bisa menyaksikan ada berapa banyak halaman anda yang ada di dalam index Google. Apakah jumlahnya masuk akal, kurang, atau malah terlalu berlebihan?
Jika kurang, maka mampu saja ada halaman yang anda anggap sebaiknya masuk ke dalam index Google malah secara tidak sengaja anda blokir dengan robots.txt.
Kalau berlebihan, maka bisa jadi ada halaman-halaman yang tidak anda inginkan masuk malah terindeks; atau bahkan situs web anda secara tidak sengaja menciptakan banyak duplikat konten karena sistem dari tema yang dipakai.
Mana saja yang terjadi di antara keduanya akan merusak SEO dari situs web anda.... Jika halaman yang terindeks kurang, maka kurang juga poin yang harusnya anda peroleh; dan sebaliknya jika halaman yang terindeks berlebihan, maka poin setiap halaman juga menjadi lebih kecil alasannya adalah pembaginya jadi lebih banyak....
Makara kalau anda gres pertama kali berguru SEO, maka mengamati index Google ialah salah satu hal yang mesti anda ketahui.
Apakah Google bisa mengakses semua konten dan tautan?
Tidak semua yang ada di dalam halaman kita bisa diakses oleh Google, jadi anda mesti tahu apakah serpihan penting dari halaman yang anda kehendaki bisa membantu SEO bisa dilihat oleh Google.Ada banyak jenis persoalan yang mengakibatkan Google tidak bisa melihat semua isi konten di dalam situs web kita. Beberapa di antaranya yakni:
- Diblokir robots.txt
- Link tidak terbaca (broken link)
- Memakai teknologi flash yang belum mampu dilihat Googlebot
- Kode yang error
- Link dinamis yang terlalu rumit
Jika anda mau mengenali apakah semua penggalan halaman anda bisa dilihat oleh Google, maka coba kerjakan FETCH AND RENDER di Search console; lihat apakah Google mampu merayapi seluruhnya atau cuma sebagian.
Atau anda bisa juga mencari halaman anda di Google dengan operator site: tadi, dan setelah hasil pencarian keluar, coba lihat CACHE Google dari panah kecil yang ada di setiap hasil pencarian (lihat gambar di bawah)
Bisakah Googlebot dikendalikan?
Ya, Google yakni perusahaan yang menghargai aturan di dalam robots.txt. Makara robotnya tidak akan menghimpun data dari halaman-halaman yang tidak boleh.Secara keseluruhan ada beberapa cara anda bisa mengendalikan robot google:
- Memakai robots.txt
- Memasukkan meta robots di halaman
- Menggunakan kode robot di header
- Memakai peta situs
- Memakai Google Search Console
Tapi yang paling lazim digunakan yaitu robots.txt
Apa itu Robots.txt?
Ini yakni file yang berisi aturan bagaimana sebaiknya robot perayap berinteraksi di halaman web anda. Yang perlu anda pahami ialah;... cuma alasannya situs web anda memakai robots.txt bukan berarti semua robot akan mengikuti aturan yang ada di dalamnya.Robot dari pihak yang tidak baik pastinya tidak akan mempedulikan aturan di dalam robots.txt ini.
Khusus Googlebot; anda dapat mengontrol halaman mana yang boleh dan dihentikan diakses oleh Googlebot saat tiba ke situs web anda. Hanya saja pembahasan robots.txt ini cukup kompleks jadi akan dibahas nanti di artikel tersendiri.
Googlebot dan Peta Situs
Peta situs atau lazimdisebut sitemap adalah cara untuk menolong google mengetahui struktur dari situs web anda.Google mengatakan ada beberapa kondisi di mana anda sangat perlu menggunakan peta situs...
- Anda bikin situs web yang sungguh besar
- Website anda mempunyai banyak konten tapi saling terisolasi dan tidak memiliki struktur link yang bagus
- Situs anda masih gres dan cuma sedikit backlink yang masuk; jadi Google lebih mengandalkan peta situs untuk perayapan semua halaman gres.
Tipe-Tipe Googlebot
Googlebot memiliki 9 tipe yang berlainan dengan fungsi yang berlawanan pula. Kesembilan Googlebot tersebut ialah:- Googlebot (Google Web search)
- Google Smartphone
- Google Mobile (Feature phone)
- Googlebot Images
- Googlebot Video
- Googlebot News
- Google Adsense
- Google Mobile Adsense
- Google Adsbot (landing page quality check)