Village connu dès 980, Caromb est écrit pour la première fois en 1021 sous la mention "Ad Carumbum". Son nom serait issu des mots celte Car "pierre" et latin Umbo "monticule".
Cédé au XIIIe siècle à la Papauté, le Seigneur Bertrand des Baux définit les limites du territoire communal en 1286 et instaure les droits communaux sous forme d'un syndic en 1298.
Les remparts sont édifiés au XIVe siècle. Cette Seigneurie est achetée par Etienne de Vesc en 1484 qui en fait le plus gros bourg du Comtat, prospère jusqu'en 1562.
Pendant les Guerres de Religion, Caromb est pillé et attaqué, fournissant beaucoup de troupes aux Catholiques jusqu'en 1580.
De nombreux couvents se créent au XVIIe siècle, assurant soins et éducation. La peste et la famine touchent le village en 1721.