PuluhLabs

Audit akses crawler AI dan keterbacaan halaman

Masukkan domain. Kami membuka halaman, robots.txt, dan sitemap Anda dari server kami, lalu melaporkan apa yang bisa dan tidak bisa dibaca crawler pencarian AI. Setiap temuan menyertakan URL dan status HTTP yang kami terima.

Konsultasikan ProyekLihat Layanan

Maksimal 8 pemeriksaan per 10 menit. Halaman dibaca dari server kami, tanpa login dan tanpa menjalankan JavaScript.

Belum ada hasil

Hasil akan berisi urutan perbaikan, tabel akses per crawler, dan rincian sembilan pemeriksaan. Setiap temuan mencantumkan URL yang kami buka dan status HTTP yang kami terima.

Sembilan hal yang diperiksa

Semuanya diambil dari respons nyata situs Anda. Tidak ada skor tetap dan tidak ada simulasi jawaban AI.

  1. 1Halaman dapat dibuka lewat HTTPS dan membalas 200
  2. 2robots.txt mengizinkan crawler pencarian OpenAI, Perplexity, Anthropic, Google, dan Bing
  3. 3Server membalas permintaan dengan User-Agent crawler AI sama seperti pengunjung biasa
  4. 4Tidak ada noindex atau larangan cuplikan di meta robots dan header X-Robots-Tag
  5. 5Teks halaman sudah ada di HTML awal, sebelum JavaScript berjalan
  6. 6Judul, meta description, dan canonical terisi
  7. 7Satu H1 dan urutan heading tanpa lompatan level
  8. 8JSON-LD dapat di-parse, dengan daftar jenis @type yang ditemukan
  9. 9Sitemap XML terbaca

Yang dikatakan penyedia mesin pencari

Google menyatakan situs tidak perlu membuat berkas mesin atau berkas teks AI khusus untuk tampil di AI Overviews dan AI Mode. Yang dinilai sama dengan Search: halaman terindeks, crawler diizinkan di robots.txt dan di CDN, teks penting tersedia sebagai teks, dan structured data cocok dengan isi halaman. Sumber: Google Search Central, AI features.

OpenAI memisahkan crawler berdasarkan fungsi. OAI-SearchBot menentukan tampilnya situs di pencarian ChatGPT, sedangkan GPTBot mengumpulkan konten untuk pelatihan model. Memblokir GPTBot tidak menutup akses OAI-SearchBot. Sumber: dokumentasi bot OpenAI.

llms.txt adalah usulan komunitas, bukan standar yang dijanjikan akan dibaca crawler tertentu. Audit ini hanya melaporkan ada atau tidaknya berkas itu. Generator di bawah tersedia bila Anda memutuskan memakainya.

Generator llms.txt dan JSON-LD Organization

Opsional. Hasilnya hanya berisi data yang Anda ketik.

Format: judul, tanda |, lalu alamat lengkap. Baris tanpa alamat http atau https dilewati.

Isi nama perusahaan dan ringkasan untuk melihat hasilnya. Generator ini hanya menulis apa yang Anda ketik, tanpa menambah klaim.

Taruh di akar domain sehingga terbuka di /llms.txt. Format mengikuti usulan llmstxt.org: judul, ringkasan, lalu daftar tautan.