Er wordt je een bestand aangeraden. Het heet llms.txt, het staat in je root, en het zou taalmodellen vertellen welke content ze mogen gebruiken en hoe ze je site moeten begrijpen. De robots.txt voor het AI-tijdperk.
Het probleem: er is geen enkele aanbieder die het leest.
Wat llms.txt zou moeten doen
Het voorstel is netjes bedacht. Een markdownbestand op /llms.txt met een
samenvatting van je site, links naar je belangrijkste pagina’s en context die
een model helpt je goed te citeren. Daarnaast een /llms-full.txt met de
volledige tekst, zodat een model niet hoeft te crawlen.
Als idee is daar niets mis mee. Het is alleen geen standaard. Een standaard ontstaat doordat partijen hem implementeren, niet doordat iemand hem opschrijft.
Waarom het niet werkt
Een bestand doet pas iets als de ontvangende partij ernaar kijkt. Bij robots.txt is dat zo: zoekmachines vragen het op voordat ze crawlen, en ze houden zich aan wat erin staat. Dat gedrag is jarenlang opgebouwd en wordt publiek bevestigd.
Bij llms.txt ontbreekt die kant. De grote aanbieders hebben het niet toegezegd
en je ziet het niet terug in hun crawlgedrag. Je kunt dat zelf nakijken in je
serverlogs: kijk of GET /llms.txt voorkomt, en van welke user agent. Bij de
meeste sites staat daar niets.
Dat is het hele verhaal. Niet dat het slecht bedacht is, maar dat er aan de andere kant niemand luistert.
Waarom het toch wordt verkocht
Omdat het makkelijk is. Een llms.txt is in een kwartier gemaakt en ziet eruit als vooruitgang. Het past in een offerte, het is af te vinken, en niemand kan bewijzen dat het níét heeft geholpen.
Dat laatste maakt het aantrekkelijk om te verkopen en waardeloos om te kopen.
Wat wel bepaalt of je geciteerd wordt
Taalmodellen die het web raadplegen, doen dat via een zoeklaag. Ze halen pagina’s op, lezen de tekst en kiezen wat ze aanhalen. De vraag is dus niet hoe je ze een apart bestand voert, maar waarom ze juist jouw passage zouden kiezen.
Dat hangt op vijf dingen:
Een direct antwoord bovenaan. Niet een inleiding die naar het antwoord toewerkt, maar het antwoord zelf, in één alinea, hoog op de pagina. Dat is wat geciteerd kan worden zonder dat er iets bij verzonnen hoeft te worden.
Feiten die verifieerbaar zijn. Een getal met een bron en een periode is bruikbaar. Een getal zonder bron is een risico dat liever wordt overgeslagen.
Bronvermelding. Waar je zelf naar verwijst, zegt iets over hoe serieus je materiaal is.
Een echte auteursentiteit. Wie heeft dit geschreven, wat heeft die persoon gedaan, en is dat elders terug te vinden. Een naam onder een artikel zonder verdere sporen betekent niets.
Correcte structured data. Niet omdat het magie is, maar omdat het ondubbel- zinnig maakt wat je bent, wie erachter zit en waar de pagina over gaat.
Vier van deze vijf gelden al vijftien jaar voor gewone SEO. Dat is geen toeval.
Wat dit betekent voor je plan
Als iemand je een traject verkoopt dat begint bij llms.txt, vraag dan waar in zijn logs het bestand wordt opgevraagd. Komt daar geen antwoord op, dan weet je genoeg.
De tijd die je erin zou steken, besteed je beter aan één pagina die bovenaan een echt antwoord geeft op een vraag die je klanten stellen.