L’établissement de l’homme dans la moyenne vallée de la Drôme est très ancien puisque les récentes fouilles effectuées sur le tracé du TGV à Bourbousson, à l’ouest de la commune, ont montré des signes de fréquentation humaine dès le néolithique (+ de 2500 ans avant J.C.) et l’installation de quatre unités domestiques en architecture de terre et de bois autour d’une aire centrale concentrant trois fosses-silos et un grenier sur poteaux que l’on a pu dater du milieu du cinquième siècle avant J.C.
 
Selon les historiens locaux de la fin du XIXe siècle dont le pasteur Eugène Arnaud est le plus représentatif, une tour de guet se serait élevée à l’emplacement de la Tour actuelle à l’époque romaine. Rien aujourd’hui ne permet de confirmer cette hypothèse plutôt remise en cause par les travaux les plus récents. Quoi qu’il en soit, il est certain que, si des restes de villas romaines ont été retrouvés sur le site de Crest où passait la voie romaine reliant Valence à l’Italie, l’implantation importante de l’époque gallo-romaine est, à trois kilomètres à l’est de la Crest actuelle, Augusta, aujourd’hui Aouste-sur-Sye.

La fondation de Crest remonte au Xe siècle, après la période de troubles qui suit la fin de l’occupation romaine, où les incursions successives et répétées des barbares, Avars, Burgondes et autres Goths incitent les villes à se percher ou à bâtir des murailles fortifiées.
On attribue cette fondation aux Arnaud à qui la ville doit son nom de Crista Arnaldorum ou Crête des Arnaud. La première mention officielle connue en est faite le 2 mars 1120 par le pape Calixte II qui s’y arrête et adresse une lettre aux évêques de Coimbra et Salamanque du " château fort de Crest ". Les Arnaud possèdent la ville en franc-alleu, c’est à dire en toute propriété sans redevance due à quiconque jusqu’en 1145 où Arnaud de Crest se déclare vassal de Hugues II, évêque de Die, moyennant 1200 sols en monnaie de Valence et Die et pardon des nombreuses fautes qu’il avait commises.
Aux Arnaud vont succéder les Poitiers, comtes de Valentinois et Diois.

Une charte de 1178 précise que l’évêque de Die n’a sous sa souveraineté que la moitié de Crest et en 1138 Adémar de Poitiers accorde une charte des libertés à " ses gens de Crest ". Cette double revendication sera la cause des guerres perpétuelles qui opposeront évêques et comtes pour la possession totale des terres et châteaux de Crest pendant près de deux siècles.
Un premier épisode est la prise de Crest par Simon de Montfort, en 1217, pendant la Croisade des Albigeois : Aymar de Poitiers, parent, ami et feudataire de Raymond VI, comte de Toulouse, prend le parti de ce dernier et Arnaud de Die, capitaine du château supérieur pour l’évêque de Die, pour nuire au comte, livre celui-ci aux Croisés rendant ainsi impossible la défense du château inférieur, celui d’Aymar, et donc de la ville, qu’Aymar est obligé de livrer. Suivent les multiples épisodes de la " Guerre des Episcopaux " qui se terminera en 1347 par la victoire d’Aymar VI de Poitiers après la bataille d’Eurre. Alors, la forteresse épiscopale démolie, les Poitiers font des châteaux inférieur et supérieur réunis la capitale de leurs états. En 1382 Louis II de Poitiers transporte au troisième étage de la Tour sa fabrique de monnaie.
 

En 1419 il institue Charles, Dauphin de Viennois, fils du roi de France Charles VI, son héritier universel et en 1426 Crest devient française. Au cours des siècles suivants, les souverains cèdent momentanément le Valentinois, devenu duché, et donc Crest brièvement à César Borgia (1498) puis à Diane de Poitiers (1548), plus longuement aux Grimaldi qui seront seigneurs de Crest de 1643 à la Révolution. Le 26 janvier 1632, Louis XIII, qui était passé à Crest en 1629 au retour de la campagne du Piémont, publie un édit ordonnant la destruction totale de la citadelle de Crest, mais à la requête des consuls de Crest la Tour sera épargnée.

C’est là que commence son rôle de prison où sont enfermés les libertins, des opposants, puis en grand nombre des protestants à la suite des guerres de religion, et plus tard les opposants au coup d’état de Louis Napoléon Bonaparte. De nombreux graffitis témoignent sur les murs de leur foi et de leur passion.
Ville d’église et de tribunal, Crest connaît son apogée aux XVIIe et XVIIIe siècles, avec le développement du commerce, de l’industrie des drapperies, du coton et de la soie. Cet essor se poursuit au XIXe siècle : la commune compte 5600 habitants en 1876 (8100 aujourd’hui).
Aujourd’hui, le tracé de la vieille ville, les noms des rues et des quartiers évoquent toujours ce riche passé. Mais Crest, " ville-porte " du Parc du Vercors, a su concilier son héritage historique et les exigences de la modernité . La belle et riche vallée de la Drôme dont elle est la capitale a su lui apprendre la sérénité et la soif de l’avenir.