İçeriğe atla

Sözcüksel analiz

Vikipedi, özgür ansiklopedi
11.10, 30 Haziran 2013 tarihinde EmausBot (mesaj | katkılar) tarafından oluşturulmuş 13471256 numaralı sürüm (Bot: Artık Vikiveri tarafından d:Q250723 sayfası üzerinden sağlanan 1 vikilerarası bağlantı taşınıyor)

Jeton, bir programın derleyici için anlamlı en küçük parçasıdır. Programın jetonlara ayrılması, derleyicinin programı kendi diline çevirebilmesi açısından önemlidir. Jetonlar birbirlerinden genellikle boşluk karakteri ile ayrılırlar. bunun dışında, boş satır, yeni satır ya da açıklama gibi öğeler de jetonları birbirinden ayırmaya yarar. a=i+j örneğinde jetonlar : a,=,i,+,j