TL;DR: Plik llms.txt to nowy standard, który ułatwia modelom AI indeksowanie treści na Twojej stronie internetowej.

Czym jest llms.txt?

Większość z Was słyszała o pliku robots.txt. Jest to plik, który pozwala na kontrolę indeksowania przez roboty wyszukiwarek. Można w nim wskazać konkretne ścieżki, które roboty wyszukiwarek takich jak Google czy Bing mają indeksować, a następnie wyświetlać użytkownikom w wynikach wyszukiwania.

Ostatnio coraz częściej zamiast wpisywania haseł w wyszukiwarce Google korzystamy z różnych asystentów czy modeli LLM, w skrócie tego, co nazywamy AI - sztuczną inteligencją.

Modele LLM trenowane są na konkretnych zbiorach danych. W momencie wydania nowej wersji modelu (np. GPT 3.5) staje się on od razu nieaktualny w momencie publikacji z prostego powodu - zawiera już przestarzałe dane.

Świat rozwija się tak dynamicznie, że nawet najnowsze modele AI nie są w stanie być na bieżąco z tym, co się dzieje (szczególnie na rynku IT). Tutaj z pomocą przychodzi plik llms.txt.

Do czego służy llms.txt?

Plik llms.txt zawiera dane, informacje i treści Twojej strony internetowej. Modele AI w pierwszej kolejności będą szukać informacji w pliku llms.txt, a dopiero w drugiej kolejności w pozostałych treściach Twojej strony.

Każdy chce, żeby jego strona była jak najwyżej w wynikach wyszukiwania. Optymalizujemy treści, dbamy o SEO, ale dzisiaj powinniśmy również zadbać o to, żeby nasze treści były dostępne dla modeli AI.

Jakie są zastosowania llms.txt?

1. Aktualizacja danych

Jeśli jesteś programistą, na pewno spotkałeś się z sytuacją, gdy model AI tworzy treści, które są nieaktualne, a wyniki promptów zawierają dług technologiczny już na starcie. Dzięki plikowi llms.txt możesz dostarczyć modelowi najnowsze dane, które powinien uwzględnić w swoich odpowiedziach.

2. Lepsze wyniki wyszukiwania

Modele AI w pierwszej kolejności będą szukać informacji w pliku llms.txt. Dostarczając modelowi najnowsze dane, możesz mieć pewność, że Twoje treści będą bardziej aktualne i lepiej dopasowane do zapytań użytkowników.

3. Personalizacja

Modele AI są w stanie dostosować treści do użytkownika. Dzięki plikowi llms.txt możesz dostarczyć modelowi dodatkowe informacje, które pozwolą na lepsze dopasowanie treści do odbiorcy.

Jak stworzyć plik llms.txt?

Tworzenie pliku llms.txt jest bardzo proste. Wystarczy stworzyć plik o nazwie llms.txt w głównym katalogu Twojej strony internetowej i dodać do niego informacje, które chcesz dostarczyć modelowi AI.

Poniżej znajdziesz przykładowy plik llms.txt - wzięty z mojego bloga o Web Developmencie:

# https://praktycznykod.pl/ llms.txt

- [Blog o Web Developmencie](https://praktycznykod.pl/)
- [Artykuły o Web Developmencie](https://praktycznykod.pl/blog)
- [Kontakt](https://praktycznykod.pl/kontakt)
- [O mnie](https://praktycznykod.pl/o-mnie)

Standard jest bardzo młody i stosunkowo prosty. Obecnie nie ma wielu alternatyw, a jego popularność rośnie z każdym dniem.

Biblioteki i repozytoria llms.txt

Badając temat pliku llms.txt, natrafiłem na kilka bardzo popularnych katalogów plików llms.txt z różnych stron internetowych.

Jedną z takich bibliotek jest np. https://directory.llmstxt.cloud/ - znajdziesz tam pliki llms.txt z różnych stron internetowych. Warto rozważyć dodanie swojego pliku do tego katalogu.

Generowanie pliku llms.txt automatycznie

Jeśli nie chcesz ręcznie tworzyć pliku llms.txt, możesz skorzystać z narzędzi, które generują plik automatycznie. Jednym z takich narzędzi jest np. tool od FireCrawl: https://llmstxt.firecrawl.dev/

Podsumowanie

Plik llms.txt to nowy standard, który pozwala na dostarczanie informacji do modeli AI. Dzięki niemu możesz dostarczyć modelom najnowsze dane, które powinny być uwzględnione w odpowiedziach.

Zachęcam do dodania pliku llms.txt do swojej strony internetowej - to nie zajmie dużo czasu, a może przynieść wiele korzyści.