Né à Carhaix dans le Finistère en 1743 dans une famille de soldats. A la sortie du collège des Jésuites à Quimper, il choisit l'armée alors que son père voulait qu'il devienne avocat et sa mère haut-dignitaire de l'église.
En 1767 à 24 ans, il est sous-lieutenant des mousquetaires noirs. Mais dans la france alors en paix, il s'ennuie et passe au service de l'Espagne où il se distingue par plusieurs actions d'éclat. Lors d'une bataille, il ramène, malgré le feu de l'ennemi, un officier blessé sur ses épaules, le roi lui offre une décoration, qu'il accepte et une pension, qu'il refuse, déclarant qu'il a combattu pour l'honneur, pas pour l'argent.
Lorsque la Révolution éclate, il s'engage comme soldat. En 1793, il a 50 ans et compte 33 ans de services militaire. Il sert dans les armées révolutionnaires, tantôt dans les Alpes, tantôt dans les Pyrénées. Le général MULLER ayant imaginé de réunir en un seul corps de 8000 hommes (la colonne infernale), toutes les compagnies de grenadiers, il en confie le commandement à La TOUR D'AUVERGNE, son plus ancien capitaine. Les représentants du peuple auprès de l'Etat-Major, que cet aristocrate républicain agace, parce qu'il refuse de les courtiser, veulent le destituer ; l'armée toute entière proteste et le réclame. A la tête de cette troupe d'élite, il va s'illustrer encore une fois, un jour des soldats espagnols, par raillerie, étalent des vivres par delà une rivière, afin de narguer les français, qu'ils savent affamés ; LA TOUR D'AUVERGNE se jette à l'eau en criant "qui veut diner me suive !". Ils traversent le torrent, culbutent les espagnols et s'assoient à leur place.
Son courage au feu était tel que ses hommes disaient de lui : "qu'il avait le don de charmer les balles". Ayant obtenu de prendre une retraite bien méritée, il s'embarque à Bordeaux, sur un navire en direction de Brest ; manquant de sombrer, il est récupéré par les anglais et reste 2 ans en captivité. Une fois libéré, il rentre à Paris et partage sa modeste pension avec des familles indigentes et refuse les offres les plus brillantes. Le fils d'un de ses amis ayant été réquisitionné, il obtint du Directoire l'autorisation de partir à sa place. C'est ainsi que l'ancien chef de la Colonne Infernale fait comme simple grenadier, la campagne d'Helvétie. MASSENA lui demande souvent conseil et lui offre les épaulettes de Colonel, mais il refuse ces galons tout en participant aux réunions d'Etat-Major.
Le 4 juin 1799 a lieu la première bataille de Zurich où MASSENA tient tête aux Autrichiens, le 25 septembre il participe à la 2ème bataille de Zurich où les russes de Korsakov sont taillés en pièce. Nommé membre du corps législatif, après le 18 brumaire, il refuse d'y siéger, il préfère les champs de bataille et démissionne le 5 janvier 1800. Son prestige est tel que BONAPARTE, par décret et sur le rapport de CARNOT, le nomme "Premier Grenadier des Armées Françaises".
Le 30 avril 1800, un officier se présente à son domicile et lui remet copie de l'arrêté ; surpris, le vieux soldat déclare : "il n'y a pas de premier et de dernier chez les grenadiers, tous font font leur devoir. je repousse cette qualification et j'accepterai le sabre d'honneur, à condition qu'il soit le plus simple possible et sans le moindre ornement". C'est CARNOT, ministre de la guerre qui lui remis son sabre, le 15 mai 1800.
C'est avec ce titre qu'il se bat en 1800, avec l'armée du Rhin, qu'il a une nouvelle fois rejoint comme capitaine volontaire, au sein de la 46 ème demi-brigade. Le 28 juin, à la bataille de Neubourg, un uhlan lui perce la poitrine d'un coup de lance ; "je meurs satisfait, je désirais terminer ainsi ma vie" ... s'écrit-il. L'armée entière porte son deuil 3 jours et ensevelit solennellement son corps au lieu même où il a été frappé. Les grenadiers qui portent son corps hésitent au bord de la fosse, dans quel sens l'ensevelir ? "face à l'ennemi " ? ; crie alors une voix ! : Le général MOREAU fait ériger en cet endroit un mausolée qui, plus tard sera restauré par le roi de Bavière.
Son coeur qui n'avait pas été touché, est embaumé et conservé dans sa compagnie de grenadiers. Le premier Consul ordonne que son nom soit maintenu sur les listes de l'armée. Chaque jour, à l'appel, le plus ancien sergent repondra : "LA TOUR D'AUVERGNE ? ; "mort au champ d'Honneur !".
Au Pantheon de Paris, il figure sur le bas-relief ornant le fronton. Dans la crypte, reposent les restes du Premier Grenadier de France, mais son coeur est aux Invalides. Dans son village natal de Carhaix-Plouguer, un monument est élévé à sa mémoire, la mairie conserve des souvenirs (buste, mèche de cheveux ...) et évoque la vie du "Célèbre Soldat".