Los restos arqueológicos de yacimientos como El Terminillo y Los Villares entre otros, atestiguan la ocupación del territorio desde época ibérica y romana.

Su historia está ligada a la Comunidad de Albarracín, ya que en 1257 Jaime I incluye este territorio en la Sesma de Frías dentro de la Comunidad de Santa María de Albarracín, que dependía directamente del rey. En ese momento se crea la comunidad, siendo la única que en la actualidad permanece en funcionamiento a pesar de existir un Decreto de Disolución de 1837. Para organizarse se estableció una nueva organización, las sesmas, que eran una entidad administrativa intermedia entre la comunidad y la aldea.

Se denomina Torres hasta 1919, a partir de esa fecha pasa a llamarse Torres de Albarracín.

En cuanto a administración, Torres de Albarracín ha formado parte, de forma sucesiva, a la comunidad de aldeas de Albarracín: sesma de Frías, a la sobrecullida de Teruel (1488-1495), a la vereda de Montalbán (1646) y al corregimiento de Albarracín (1711-1833). Se constituye como Ayuntamiento en 1834 y forma parte del partido judicial de Albarracín, para incorporarse en 1965 al partido judicial de Teruel.