La ville et son nom sont liés à l’histoire d’un homme, Astérius, fils d’une famille romaine, né au VIe siècle à Puy-de-Pont, à l’embouchure de l’Isle et du Salembre, près de Neuvic sur l'Isle. La légende veut que, devenu ermite, il réalisa de nombreux miracles donnant au lieu une certaine renommé. Après sa mort, son tombeau attirant la dévotion des fidèles, une abbaye s’installa. En 980, une église est bâtie. Les restes de saint Astier y sont transférés.

Sur les rives de l’Isle, la petite bourgade subit de plein fouet les invasions qui ravageront le Périgord. En 1219, Saint-Astier devient l’une des 34 villes fortifiées du Périgord, se protégeant en particulier du côté de la rivière. L’église elle-même fera l’objet de fortifications successives, lui donnant son aspect massif actuel. Incendiée, elle sera reconstruite au XIe siècle et connaîtra plusieurs modifications jusqu’à nos jours.

L’évènement marquant du XIXe siècle fut la construction d’un pont permanent sur l’Isle, en remplacement des fragiles passerelles en bois, auxquelles chaque crue était fatale. Dès 1829, monsieur de Valbrune décide de se consacrer à la réalisation de cet ouvrage. Un appel à souscription est lancé. Les Astériens et les communes environnantes répondent pour une somme de 56 000 francs. Le pont, commencé en 1831, fut livré à la circulation le 12 octobre 1832. Cette méthode de la souscription publique fut utilisée pour agrandir la place du marché aux bœufs mais aussi pour remplacer l’horloge du clocher.

A proximité de la rivière, Saint-Astier fut concerné par le projet qui, en 1820, devait rendre l’Isle navigable de Périgueux à Libourne. Sur la commune, on établit trois écluses et un canal de dérivation de 1300 mètres. Le 26 avril 1835, un bateau génois fit l’objet de la curiosité des Astériens.