Okulumuz Cumhuriyetin temellerinin atıldığı ilimizde 1922-1923 eğitim öğretim yılına kadar "İnas İptidaisi" adıyla hizmet vermekteyken 1924 yılında Ziya Gökalp Kız Mektebi, 1929 yılında ise Ziya Gökalp İlkokulu adını alarak karma eğitime geçmiştir. O tarihlerde okulumuz şimdiki Çarşıbaşı Mahallesi'nde ahşap büyük bir binada eğitim öğretime devam ederken binanın bir yangın sonucu çökmesiyle 1937-1938 eğitim öğretim yılında Akdeğirmen Mahallesi'nde ahşap bir eve taşınmıştır. 1939-1940 eğitim öğretim yılında dönemin Sivas Valisi Nazmi TOKER tarafından özel muhasebe bütçesinden yaptırılan şimdiki okulumuz 1979 yılında büyük onarım görmüş ve ahşap olan kısımlar betonarme yapılmıştır.

1997-1998 eğitim öğretim yılında kesintisiz sekiz yıllık zorunlu eğitime geçilmesiyle "Ziya Gökalp İlköğretim Okulu" adını alan okulumuza 1998 yılında 12 derslikli ek bina yapılmış ve 1999-2000 eğitim öğretim yılında ikili öğretimden normal öğretime geçmiştir.

6287 sayılı kanunla kesintisiz on iki yıllık zorunlu eğitime geçilmesiyle birlikte 2012-2013 eğitim öğretim yılından itibaren de "Ziya Gökalp Ortaokulu" olarak hizmet vermekte olan okulumuz, Sivas'ın en köklü ve başarılı okullarından biri olup, kuruluşundan bugüne aralarında ünlü isimlerin de bulunduğu binlerce mezunuyla güçlü bir okul kültürüne sahiptir.