Sözcüksel analiz
Bilgisayar biliminde sözcüksel çözümleme ya da jetonlaştırma bir bilgisayar programındaki ifadelerin anlamlı dizelere dönüştürülmesine verilen addır.
Jeton
Jeton, bir programın derleyici için anlamlı en küçük parçasıdır. Programın jetonlara ayrılması, derleyicinin programı kendi diline çevirebilmesi açısından önemlidir. Jetonlar birbirlerinden genellikle boşluk karakteri ile ayrılırlar. Boş satır, yeni satır ya da açıklama gibi öğeler de jetonları birbirinden ayırmaya yarar. a = i + j örneğinde jetonlar "a", "=", "i", "+" ve "j" karakterleridir.
 | Yazılım ile ilgili bu madde taslak seviyesindedir. Madde içeriğini genişleterek Vikipedi'ye katkı sağlayabilirsiniz. |