Od statystyki do transformerów
Współczesne systemy NLP opierają się głównie na architekturze transformera i samouważnieniu (self-attention), co pozwala modelować dalekie zależności w tekście.
Tokenizacja i kontekst
Tekst jest dzielony na tokeny ograniczone długością kontekstu. Przy integracji API trzeba liczyć tokeny, stosować chunking dla długich dokumentów i pilnować limitów modelu.
Fine-tuning i RAG
Dostrajanie wag na własnym korpusie lub połączenie modelu z bazą wiedzy (RAG) to typowe ścieżki dostosowania zachowania bez pełnego treningu od zera.
Bezpieczeństwo
Wycieki danych w promptach, halucynacje i prompt injection to realne ryzyka — projektowanie interfejsów i polityk użycia to część odpowiedzialnego wdrożenia.
Quiz
Rozwiąż NLP & Transformers na stronie głównej, aby utrwalić pojęcia.