No es simplificar demasiado decir que los montefrieños, durante su larga historia, se fueron desplazando de un peñón al otro, hasta encontrar aquél que les convenía. El pueblo comenzó, hace unos 5 mil años, en un invulnerable espolón junto a la Sierra de Parapanda; a principios de la Edad Media se trasladó a otro cerro cercano, y sólo pasó a su tercero y definitivo "lugar alto", dominando el cercano Valle del Río Vilanos, hace 1.000 años.
Primero, llegó una tribu prehistórica, que hizo su aldea en lo alto de un precipicio que lleva el nombre bien merecido de Los Castillejos. Sus hombres se dedicaban al pastoreo, y enterraban sus muertos en macizas tumbas de piedra llamadas "dólmenes".
Mucho tiempo después, llegaron los romanos, que "pacificaron" a los indígenos y los obligaron a vivir en las llanuras del gran Valle de Parapanda, y a cultivar trigo. Los romanos fabricaban harina en dos poderosos molinos movidos por las aguas (del río que aún hoy se llama "Arroyo de los Molinos"), exportándola hacía las ciudades de la Bética y, quizás, a la própia Roma.
Cuando el Imperio se desintegró, la gente del valle, ya romanizada y cristianizada, pasaron a vivir bajo la dominación de uno de los pueblos bárbaros del norte de Europa, los visigodos. Seguían tranquilamente con su vida de pastores y agricultores, lejos de las luchas de palacio entre príncipes y obispos, primos y hermanos reales. Pero una nueva invasión extranjera, la de los bizantinos, deseosos de recuperar lo que sus antepasados los romanos habían perdido a los germanos, los obligó a buscar de nuevo refugio en las alturas. Eligieron, esta vez, una gran roca aislada que se podía defender fácilmente y que tiene una fuente de agua a sus pies: la Ciudadela del Castillón.
Allí resistieron primero a los conflictos entre bizantinos y visigodos, y, a partir del año fatídico del 711, al yugo de los árabes, durante casi cinco siglos... hasta que los amos musulmanes de Córdoba, en el siglo X, los obligaron a bajar a las llanuras (como lo habían hecho antes los romanos), para que labraran la tierra, y pagaran tributos al Califa. Los nuevos gobernadores árabes se fortificaron en la cima del último de los tres peñones, unas millas hacía el oeste en el Valle del Rio Vilanos, y que fue destinado a ser el núcleo del pueblo que hoy conocemos.
Cuando los "reconquistadores" llegaron a las puertas de Montefrío, a mediados del siglo XIV, conviriténdolo en zona fronteriza, los árabes tuvieron que ampliar su castillo, lo que los permitió resistir a los cristianos hasta la derrota del Reino Nazarí, un siglo y medio más tarde.
Después de la Reconquista, Montefrío fue repoblado de gentes del norte, quienes, ya sin nada que temer de invasores, eligieron vivir, más holgadamente, al pie del gran peñón. El pueblo creció, llegando a ser un importante centro agrícola, con tres hermosas iglesias. La primera, que se construyó encima de las mismas ruinas de la gran fortaleza mora, es la "Iglesia de La Villa".