Bagaimana menghapus situs atau fragmen-nya dari indeks Google

Menurut konsep pengindeksan diadopsi oleh Google, menyumbang kelengkapan, objektivitas dari informasi dan kesesuaian terhadap permintaan pencarian dalam penerbitan hasil. Jika indeks jatuh website dengan konten ilegal, atau sumber daya untuk spam, halaman situs ini tidak akan ditandai di mesin pencari umum basis data. Bagi kami penting untuk belajar bagaimana untuk menghapus situs dari penerbitan hasil dari server pencarian.

Varian dari nol pengindeksan Google

Setelah robot pencari - sebuah program untuk mengumpulkan informasi tentang sumber daya baru - akan memindai halaman situs dengan halaman, kemudian, ketika di bawah persyaratan kebijakan Google untuk parsing, maka akan diindeks. Tapi kami juga menunjukkan cara untuk menghapus situs atau fragmen untuk mesin pencari melalui robots.txt - indeks dan mencari saat yang sama berhenti.

Untuk mengecualikan dari penerbitan sumber daya secara keseluruhan, di root folder dari server di mana situs berada, menciptakan area teks tertentu - kata robots.txt. Zona ini diperlakukan dengan mesin pencari dan bertindak sesuai dengan petunjuk membaca.

Perlu diingat bahwa indeks mesin pencari Google halaman, bahkan jika pengguna memiliki akses untuk melihat yang dilarang. Ketika browser merespon dengan 401 atau 403 "Access tidak valid", itu hanya berlaku untuk pengunjung, bukan program yang berkumpul untuk ini mesin pencari.

Untuk memahami cara menghapus situs dari indeks mesin pencari, pointer teks harus memasukkan baris berikut:

User-agent: Googlebot

Larang: /

Ini menunjukkan kepada crawler untuk mengindeks larangan semua konten di situs. Berikut cara menghapus situs Google, sehingga yang terakhir tidak cache sumber daya dalam daftar dari terdeteksi.

Perwujudan scanning untuk protokol yang berbeda

Jika Anda perlu daftar standar komunikasi individu, yang Anda ingin menerapkan aturan khusus untuk mengindeks Google, misalnya, secara terpisah untuk hypertext protokol http / https, perlu juga untuk mendaftar dalam robots.txt dengan cara sebagai berikut (contoh).

(Http://yourserver.com/robots.txt) - nama domain situs Anda (ada)

User-agent: * - mesin pencari

Izinkan: / - memungkinkan indeksasi penuh

Cara menghapus situs dari masalah ini sepenuhnya kepada protokol https

(Https://yourserver.com/robots.txt):

User-agent: *

Larang: / larangan lengkap tentang pengindeksan

Dipercepat alamat sumber daya penghapusan URL- dari Google SERPs

Jika Anda tidak ingin menunggu untuk re-indeksasi, dan situs yang Anda ingin menyembunyikan seperti, saya sarankan untuk menggunakan http://services.google.com/urlconsole/controller layanan sesegera mungkin. robots.txt pra harus ditempatkan di direktori root dari server situs. Ini harus diresepkan instruksi yang tepat.

Jika pointer untuk beberapa alasan tidak dapat diedit di direktori root, membuat cukup dalam folder dengan target yang Anda ingin menyembunyikan dari mesin pencari. Setelah Anda melakukan ini dan merujuk ke layanan secara otomatis menghapus alamat hypertext, Google tidak akan memindai folder yang terbilang cacat dalam robots.txt.

Masa tembus pandang ini ditetapkan untuk 3 bulan. Setelah periode ini, direktori ditarik dari masalah, akan kembali diproses oleh server Google.

H ow untuk menghapus situs untuk memindai sebagian

Ketika bot pencarian membaca isi robots.txt, bahwa keputusan tertentu yang dibuat atas dasar isinya. Katakanlah Anda ingin kecualikan untuk menampilkan seluruh direktori yang disebut anatom. Hal ini cukup untuk meresepkan peraturan tersebut:

User-agent: Googlebot

Larang: / anatom

Atau, misalnya, Anda ingin tidak indeks semua jenis gambar .gif. Untuk melakukan hal ini, tambahkan daftar berikut:

User-agent: Googlebot

Larang: /*.gif$

Berikut contoh lain. Biarkan mereka dihapus dari parsing informasi pada halaman yang dihasilkan secara dinamis, sambil menambahkan untuk jenis entri indeks:

User-agent: Googlebot

Larang: / *?

Itu sekitar, dan merinci aturan untuk mesin pencari. Hal lain adalah bahwa hal itu jauh lebih mudah untuk hanya menggunakan tag META ini. Dan webmaster sering menggunakan hanya standar seperti mengatur pengoperasian mesin pencari. Tapi kita akan membahas ini dalam artikel mendatang.