Die lexikalische Analyse muss sowohl während des automatischen Indizierens als auch während der Eingabeverarbeitung erfolgen. Wichtige Entscheidungen über die lexikalische Form der Index- und Suchterme und über Suchoperatoren müssen in der Designphase auf Grund der Anforderungen an das Zielsystem getroffen werden. Ist dies erst einmal erledigt, ist es relativ leicht, das System zu erstellen. Systeme zur lexikalischen Analyse auf Basis endlicher Automaten sind einfach und schnell von Hand oder mit Hilfe eines Generators zu erstellen.
Demnach sieht der Vorgang der lexikalischen Analyse, empfohlen nach den bisher getroffenen Aussagen, folgendermassen aus:
- Zerlegung des Textes in einzelner Wörter
- Worterkennung
- Stopworteliminierung
- Weitergabe des Wortes an den sich anschliessenden Prozess
Der sich anschliessende Prozess ist nun nicht mehr zu diesem Thema zugehörig, weshalb ich an dieser Stelle meine Erläuterungen abbrechen möchte und auf den Vortrag nächste Woche verweise.
