Dans les textes, Neuvic est décrite comme une ville murée.

A la fin du XVIIIe siècle (1778), un décret royal ordonne la vente de l’enceinte, devenue inutile.

Trois portes sont alors mentionnées : la porte de l’église, la porte de la ville et la porte de la grange.

Il ne reste aujourd’hui aucune trace de l’enceinte ni de ces portes.

La tour du bureau d'information touristique (appelée Tour des 5 pierres) n’est pas un vestige de l’ancienne fortification mais la tour d’escalier d’une ancienne maison, détruite lors de la construction de l'espace touristique.

Les pierres qui ornent la tour ainsi que les mâchicoulis qui la surmontent sont des réemplois provenant notamment du château du Chambon.