Sözcüksel analiz

Vikipedi, özgür ansiklopedi
Gezinti kısmına atla Arama kısmına atla

Bilgisayar biliminde sözcüksel çözümleme ya da jetonlaştırma bir bilgisayar programındaki ifadelerin anlamlı dizelere dönüştürülmesine verilen addır.

Jeton[değiştir | kaynağı değiştir]

Jeton, bir programın derleyici için anlamlı en küçük parçasıdır. Programın jetonlara ayrılması, derleyicinin programı kendi diline çevirebilmesi açısından önemlidir. Jetonlar birbirlerinden genellikle boşluk karakteri ile ayrılırlar. Boş satır, yeni satır ya da açıklama gibi öğeler de jetonları birbirinden ayırmaya yarar. a = i + j örneğinde jetonlar "a", "=", "i", "+" ve "j" karakterleridir.