AI Web Crawling Bots adalah kecoak internet, banyak pengembang perangkat lunak percaya. Beberapa dev telah mulai melawan dengan cara yang cerdik, seringkali lucu.
Sementara situs web mana pun mungkin ditargetkan oleh perilaku crawler yang buruk – Terkadang mencatat situs – Pengembang open source “terpengaruh secara tidak proporsional”, menulis Niccolò Venerandi, pengembang desktop Linux yang dikenal sebagai plasma dan pemilik blog pustakawan.
Pada dasarnya, situs -situs yang menampung proyek -proyek bebas dan open source (FOSS) berbagi lebih banyak infrastruktur mereka di depan umum, dan mereka juga cenderung memiliki sumber daya yang lebih sedikit daripada produk komersial.
Masalahnya adalah bahwa banyak bot AI tidak menghormati file robot robot.txt robot robot, alat yang memberi tahu bot apa yang tidak dirayapi, yang awalnya dibuat untuk bot mesin pencari.
Dalam “menangis untuk meminta bantuan” Posting Blog Pada bulan Januari, pengembang FOSS XE IASO menggambarkan bagaimana AmazonBot tanpa henti ditumbuk di situs web server git ke titik menyebabkan pemadaman DDOS. Server Git menampung proyek FOSS sehingga siapa pun yang ingin dapat mengunduh kode atau berkontribusi padanya.
Tapi bot ini mengabaikan robot.txt Laso, bersembunyi di balik alamat IP lainnya, dan berpura -pura menjadi pengguna lain, kata Laso.
“Sia -sia untuk memblokir bot crawler AI karena mereka berbohong, mengubah agen pengguna mereka, menggunakan alamat IP perumahan sebagai proksi, dan banyak lagi,” keluh Laso.
“Mereka akan mengikis situs Anda sampai jatuh, dan kemudian mereka akan mengikisnya lagi. Mereka akan mengklik setiap tautan pada setiap tautan di setiap tautan, melihat halaman yang sama berulang -ulang. Beberapa dari mereka bahkan akan mengklik tautan yang sama beberapa kali dalam detik yang sama,” tulis pengembang di pos.
Masukkan Dewa Graves
Jadi IASO melawan dengan kepintaran, membangun alat bernama Anubis.
Anubis adalah Pemeriksaan Bukti Kerja Proxy Terbalik Itu harus diteruskan sebelum permintaan diizinkan untuk menekan server git. Ini menghalangi bot tetapi memungkinkan melalui browser yang dioperasikan oleh manusia.
Bagian yang lucu: Anubis adalah nama dewa dalam mitologi Mesir yang menuntun orang mati untuk menghakimi.
“Anubis menimbang jiwamu (hati) dan jika itu lebih berat dari bulu, hatimu dimakan dan kamu, seperti, Mega mati,” kata Iaso kepada TechCrunch. Jika permintaan web memberikan tantangan dan bertekad menjadi manusia, gambar anime yang lucu mengumumkan kesuksesan. Gambarnya adalah “pendapat saya tentang anubis antropomorfisasi,” kata IASO. Jika itu bot, permintaan ditolak.
Proyek bernama masak telah menyebar seperti angin di antara komunitas Foss. Laso membagikannya di github Pada 19 Maret, dan hanya dalam beberapa hari, ia mengumpulkan 2.000 bintang, 20 kontributor, dan 39 garpu.
Pembalasan sebagai Pertahanan
Popularitas instan Anubis menunjukkan bahwa rasa sakit IASO tidak unik. Faktanya, Venerandi berbagi cerita demi cerita:
- CEO Pendiri SourceHut Drew Devault dijelaskan Menghabiskan “dari 20-100% dari waktu saya dalam minggu tertentu meringankan perayap LLM yang sangat agresif dalam skala,” dan “mengalami lusinan pemadaman singkat per minggu.”
- Jonathan Corbet, seorang pengembang foss terkenal yang mengelola situs berita industri Linux LWN, memperingatkan bahwa situsnya adalah diperlambat oleh lalu lintas tingkat DDOS “Dari AI Scraper Bots.”
- Kevin Fenzi, Sysadmin dari Proyek Linux Fedora yang sangat besar, kata bot pengikis ai Telah menjadi sangat agresif, ia harus memblokir seluruh negara Brasil dari akses.
Venerandi memberi tahu TechCrunch bahwa dia tahu beberapa proyek lain yang mengalami masalah yang sama. Salah satunya “harus sementara waktu melarang semua alamat IP Cina pada satu titik.”
Biarkan itu meresap sejenak – bahwa pengembang “bahkan harus beralih ke melarang seluruh negara” hanya untuk menangkis bot AI yang mengabaikan file robot.txt, kata Venerandi.
Selain menimbang jiwa pemohon web, para pengembang lain percaya pembalasan adalah pertahanan terbaik.
Beberapa hari yang lalu di Berita peretaspengguna xyzal ROBOT LOADING yang disarankan.txt halaman terlarang dengan “beban ember artikel tentang manfaat minum pemutih” atau “artikel tentang efek positif menangkap campak pada kinerja di tempat tidur.”
“Pikirkan kita perlu membidik bot untuk mendapatkan nilai utilitas _negative_ dari mengunjungi perangkap kita, bukan hanya nilai nol,” jelas Xyzal.
Seperti yang terjadi, pada bulan Januari, seorang pencipta anonim yang dikenal sebagai “Aaron” merilis alat bernama Sesuatu yg memberi ketenangan Itu bertujuan untuk melakukan hal itu. Itu menjebak perayap di labirin tanpa akhir dari konten palsu, tujuan yang diakui dev ARS Technica agresif jika tidak benar -benar jahat. Alat ini dinamai tanaman karnivora.
Dan Cloudflare, mungkin pemain komersial terbesar yang menawarkan beberapa alat untuk menangkis AI Crawlers, pekan lalu merilis alat serupa yang disebut AI Labyrinth.
Ini dimaksudkan untuk “memperlambat, membingungkan, dan menyia -nyiakan sumber daya crawler AI dan bot lain yang tidak menghormati arahan ‘tidak merangkak’,” yang dijelaskan Cloudflare di posting blognya. Cloudflare mengatakan itu memberi makan perayap yang berperilaku buruk “konten yang tidak relevan daripada mengekstraksi data situs web Anda yang sah.”
Devault SourceHut mengatakan kepada TechCrunch bahwa “Nepenthes memiliki rasa keadilan yang memuaskan untuk itu, karena memberi makan omong kosong bagi para perayap dan meracuni sumur mereka, tetapi pada akhirnya Anubis adalah solusi yang berhasil” untuk situsnya.
Tetapi Devault juga mengeluarkan permohonan publik yang menyentuh hati untuk perbaikan yang lebih langsung: “Harap berhenti melegitimasi LLM atau generator gambar AI atau kopilot github atau tempat sampah ini. Saya memohon Anda untuk berhenti menggunakannya, berhenti membicarakannya, berhenti membuat yang baru, berhenti saja.”
Karena kemungkinan itu adalah zilch, pengembang, khususnya di Foss, melawan dengan kepintaran dan sentuhan humor.
ADVERTISEMENT:
Hai, sobat pencinta slots pernahkah denger istilah “raja slot? Kalau belum, siap-siap jatuh hati sama konsep ini. slot gacor adalah mesin slots yang selalu memberi kemenangan. Yup, mesin-mesin ini bisa dibilang adalah jagoannya tuk membawa pulang cuan. tapi, gimana sih
tekniknya jumpain slot gacor yang tepat? Santai Bro, kita bahas tenang saja di sini
Gaming terbaik waktu ini satu-satunya berada Indonesia yaitu akan memberikan return on Investment terbaik
SEGERA dengan di :
Informasi mengenai KING SLOT, Segera Daftar Bersama king selot terbaik dan terpercaya no satu di Indonesia. Boleh mendaftar melalui sini king slot serta memberikan hasil kembali yang paling tinggi saat sekarang ini hanyalah KING SLOT atau Raja slot paling gacor, gilak dan gaco saat sekarang di Indonesia melalui program return tinggi di kingselot serta pg king slot
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama kdwapp.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama jebswagstore.com
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama demoslotgacor.pro
slot demo gacor
slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot gacor
akun demo slot gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo gacor
akun slot demo gacor permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot pragmatic
akun demo slot pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo pragmatic
akun slot demo pragmatic permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun slot demo
akun slot demo permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
akun demo slot
akun demo slot permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
situs slot terbaru
situs slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
slot terbaru
slot terbaru permainan paling top dan garansi imbal balik hasil besar bersama situsslotterbaru.net
lembagatoto88 permainan paling top dan garansi imbal balik hasil besar bersama lembagatoto88.com
lumbung888 permainan paling top dan garansi imbal balik hasil besar bersama lumbung888.biz
anadototo88 permainan paling top dan garansi imbal balik hasil besar bersama anadototo88.org
mataramtoto88 permainan paling top dan garansi imbal balik hasil besar bersama mataramtoto88.com
mawartoto88 permainan paling top dan garansi imbal balik hasil besar bersama mawartoto88.biz
maxim88 permainan paling top dan garansi imbal balik hasil besar bersama maxim88.org
mpovegas88 permainan paling top dan garansi imbal balik hasil besar bersama mpovegas88.com
nagacc88 permainan paling top dan garansi imbal balik hasil besar bersama nagacc88.com
neng88 permainan paling top dan garansi imbal balik hasil besar bersama neng88.biz
nibung888 permainan paling top dan garansi imbal balik hasil besar bersama nibung888.biz
paristogel88 permainan paling top dan garansi imbal balik hasil besar bersama paristogel88.info
ribut88 permainan paling top dan garansi imbal balik hasil besar bersama ribut88.net
sebat777 permainan paling top dan garansi imbal balik hasil besar bersama sebat777.info
sebat88 permainan paling top dan garansi imbal balik hasil besar bersama sebat88.info
singa88 permainan paling top dan garansi imbal balik hasil besar bersama singa88.biz
texas888 permainan paling top dan garansi imbal balik hasil besar bersama texas888.asia
vertu777 permainan paling top dan garansi imbal balik hasil besar bersama vertu777.org
wks88 permainan paling top dan garansi imbal balik hasil besar bersama wks88.org
wortel88 permainan paling top dan garansi imbal balik hasil besar bersama wortel88.net
yabos888 permainan paling top dan garansi imbal balik hasil besar bersama yabos888.net
yoktogel88 permainan paling top dan garansi imbal balik hasil besar bersama yoktogel88.asia
agam88 permainan paling top dan garansi imbal balik hasil besar bersama agam88.asia
bangkittoto permainan paling top dan garansi imbal balik hasil besar bersama bangkittoto.net
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.com
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.info
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.net
bangor88 permainan paling top dan garansi imbal balik hasil besar bersama bangor88.org
belanjatoto permainan paling top dan garansi imbal balik hasil besar bersama belanjatoto.org
bisnis88 permainan paling top dan garansi imbal balik hasil besar bersama bisnis88.biz
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.com
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.info
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.net
blibli88 permainan paling top dan garansi imbal balik hasil besar bersama blibli88.org
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.com
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.info
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.net
btstoto88 permainan paling top dan garansi imbal balik hasil besar bersama btstoto88.org
cendanatoto88 permainan paling top dan garansi imbal balik hasil besar bersama cendanatoto88.com
cupang88 permainan paling top dan garansi imbal balik hasil besar bersama cupang88.biz
cupangjp88 permainan paling top dan garansi imbal balik hasil besar bersama cupangjp88.com
danatoto88 permainan paling top dan garansi imbal balik hasil besar bersama danatoto88.biz
danatoto88slot permainan paling top dan garansi imbal balik hasil besar bersama danatoto88slot.net
davo888 permainan paling top dan garansi imbal balik hasil besar bersama davo888.biz
dewasurga888 permainan paling top dan garansi imbal balik hasil besar bersama dewasurga888.biz
dhx88 permainan paling top dan garansi imbal balik hasil besar bersama dhx88.biz
dingdongtogel88 permainan paling top dan garansi imbal balik hasil besar bersama dingdongtogel88.biz
egp888 permainan paling top dan garansi imbal balik hasil besar bersama egp888.biz
eropa88 permainan paling top dan garansi imbal balik hasil besar bersama eropa88.biz
forwin777 permainan paling top dan garansi imbal balik hasil besar bersama forwin777.biz
forwin88 permainan paling top dan garansi imbal balik hasil besar bersama forwin88.net
gacor222 permainan paling top dan garansi imbal balik hasil besar bersama gacor222.biz
galaxy777 permainan paling top dan garansi imbal balik hasil besar bersama galaxy777.asia
garuda88 permainan paling top dan garansi imbal balik hasil besar bersama garuda88.biz
gaul88 permainan paling top dan garansi imbal balik hasil besar bersama gaul88.biz
glowin888 permainan paling top dan garansi imbal balik hasil besar bersama glowin888.biz
gopay88 permainan paling top dan garansi imbal balik hasil besar bersama gopay88.biz
harum88 permainan paling top dan garansi imbal balik hasil besar bersama harum88.biz
harumtoto permainan paling top dan garansi imbal balik hasil besar bersama harumtoto.net
hiu88 permainan paling top dan garansi imbal balik hasil besar bersama hiu88.biz
hiutoto permainan paling top dan garansi imbal balik hasil besar bersama hiutoto.biz
hoki117 permainan paling top dan garansi imbal balik hasil besar bersama hoki117.net
ibetslot88 permainan paling top dan garansi imbal balik hasil besar bersama ibetslot88.biz
idhoki888 permainan paling top dan garansi imbal balik hasil besar bersama idhoki888.com
indosport999 permainan paling top dan garansi imbal balik hasil besar bersama indosport999.net
jackpot10 permainan paling top dan garansi imbal balik hasil besar bersama jackpot10.net
jago77 permainan paling top dan garansi imbal balik hasil besar bersama jago77.biz
jet88 permainan paling top dan garansi imbal balik hasil besar bersama jet88.biz
jinbei88 permainan paling top dan garansi imbal balik hasil besar bersama jinbei88.biz
juliet88 permainan paling top dan garansi imbal balik hasil besar bersama juliet88.org
kakekslot88 permainan paling top dan garansi imbal balik hasil besar bersama kakekslot88.asia
kenzo118 permainan paling top dan garansi imbal balik hasil besar bersama kenzo118.biz
kiw88 permainan paling top dan garansi imbal balik hasil besar bersama kiw88.biz
lazada88 permainan paling top dan garansi imbal balik hasil besar bersama lazada88.biz
mangga2bet88 permainan paling top dan garansi imbal balik hasil besar bersama mangga2bet88.com
mental88 permainan paling top dan garansi imbal balik hasil besar bersama mental88.org
nenektogel88 permainan paling top dan garansi imbal balik hasil besar bersama nenektogel88.com
obc88 permainan paling top dan garansi imbal balik hasil besar bersama obc88.net
parsel88 permainan paling top dan garansi imbal balik hasil besar bersama parsel88.com
pasar88 permainan paling top dan garansi imbal balik hasil besar bersama pasar88.biz
pilar100 permainan paling top dan garansi imbal balik hasil besar bersama pilar100.net
power88 permainan paling top dan garansi imbal balik hasil besar bersama power88.biz
pragmatic7777 permainan paling top dan garansi imbal balik hasil besar bersama pragmatic7777.com
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.com
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.info
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.net
pragmaticid88 permainan paling top dan garansi imbal balik hasil besar bersama pragmaticid88.org
premantoto88 permainan paling top dan garansi imbal balik hasil besar bersama premantoto88.com
pucuk88 permainan paling top dan garansi imbal balik hasil besar bersama pucuk88.biz
pucuktoto permainan paling top dan garansi imbal balik hasil besar bersama pucuktoto.biz
pusat88 permainan paling top dan garansi imbal balik hasil besar bersama pusat88.biz
raja228 permainan paling top dan garansi imbal balik hasil besar bersama raja228.biz
rajabandot88 permainan paling top dan garansi imbal balik hasil besar bersama rajabandot88.biz
rajapanen88 permainan paling top dan garansi imbal balik hasil besar bersama rajapanen88.net
rogtoto88 permainan paling top dan garansi imbal balik hasil besar bersama rogtoto88.net
sdtoto88 permainan paling top dan garansi imbal balik hasil besar bersama sdtoto88.biz
semangat88 permainan paling top dan garansi imbal balik hasil besar bersama semangat88.biz
sensasi555 permainan paling top dan garansi imbal balik hasil besar bersama sensasi555.net
sensasi88 permainan paling top dan garansi imbal balik hasil besar bersama sensasi88.biz
simenang88slot permainan paling top dan garansi imbal balik hasil besar bersama simenang88slot.com
slotter999 permainan paling top dan garansi imbal balik hasil besar bersama slotter999.net
slottoto88 permainan paling top dan garansi imbal balik hasil besar bersama slottoto88.org
