Šarbanovac je udaljen 7 km od Sokobanje i nalazi se na južnoj padini planine Rtanj, ispod masiva Gole planine, na prosečnoj visini od 500 m nadmorske visine. Selo se nalazi u netaknutoj prirodi, a jedan deo njegove teritorije pripada specijalnom rezervatu prirode Rtanj.
Na 6 km udaljenosti od sela nalazi se jedinstvena jama pod nazivom Velika Porica. Ovo nije tipična jama, pošto je karakteriše veoma širok otvor, prečnika oko 20 m. Jama se spušta vertikalno oko 10 metara u vidu kaskada i na samom dnu se račva u nekoliko pećinskih hodnika. Od jame vodi obeležena planinarska staza do malih rtanjskih vrhova Baba (1008 m) i Mućea (974 m). Pored obeleženih planinarskih staza postoje i biciklističke staze u dužini od 50 km. Šarbanovac je poznat po proizvodnji kvalitetnog kravljeg sira i domaće rakije.