1867'te kabul edilen Teşkil-i Vilayet Nizamnamesi ile Erzurum Eyaleti'nin kaldırılması ile kurulmuştur. Berlin Antlaşması ile Osmanlı Devletinde olan Kars ve Ardahan sancakları (Narman nahiyesi hariç) Rusya'ya verildi. 1875 yılında Bitlis, Van ve Hakkâri ayrı vilayet olarak Erzurum Vilayeti haricinde bırakılmıştır. 1879 yılında Dersim müstakil bir vilayet olmuş ve Erzurum'dan ayrılmıştır.
Erzurum Vilayetinin 1867-1875 yıllarında 7 sancak olarak teşkilatlandırılmıştır:[2]