Les primeres evidències d'ocupació de l'entorn de Vilafamés, se centren en les troballes arqueològiques realitzats en el Cova de Dalt del Tossal de la Font, on es van localitzar restes antropològiques amb una antiguitat de 80.000 anys. Una continuïtat en l'ocupació del medi estaria reflectida en la Cova de Matutano, jaciment del Paleolític Superior, amb una antiguitat entre el 14.000 i el 11.000 B.P.

Ja en el nucli urbà de Vilafamés, tenim les manifestacions pictòriques de l’Abric del Castell, conjunt de pintura rupestre esquemàtica datada en període Eneolític. A més existeixen disseminats pel terme municipal gran quantitat d'assentaments de diferents períodes com ara l'ibèric, amb el màxim exponent en el jaciment dels Estrets-el Racó de Rata, o amb posterioritat cronològica els d'època romana. La contínua i densa població del territori al voltant de Vilafamés, ens indiquen la idoneïtat del lloc per a l'ocupació humana des de temps prehistòrics.

Pel que fa al nucli urbà, el mateix topònim Vilahameç, Beniffamez, denota el seu origen en època musulmana. D'aquest període es conserven entre altres elements, la fonamentació del castell que corona el turó sobre el qual s'assenta el municipi i el traçat urbà de la zona contigua al mateix, d'estrets carrerons tortuosos, on la vegetació que mantenen els veïns, els habitatges emblanquinats i la pròpia fisonomia, converteix a aquesta zona antiga en un recés de pau i tranquil•litat. Queden així mateix vestigis de les antigues fortificacions constituïdes per llenços de muralla i restes de torres.

Aquest recinte primitiu de Vilafamés englobaria la part alta de la població, més concretament el castell i la zona annexa del Quartijo, antic Ajuntament, església de la Sang, fins als carrers Hospital i Torreta, formant un espai més o menys quadrangular.

En el segle XIII, després de la caiguda de Borriana en 1233, les tropes de Jaume I conquistaran la plaça després del seu setge. Aquest fet duu que, el 30 d'agost de 1241, Jaume I comissione a Guillem Ramon de Vielha per a donar a poblar el castell a Domènec Ballester, A. Cabrera i altres, carta de població que s'establix a fur de Saragossa. Aquesta donació serà confirmada posteriorment pel propi monarca a Lleida el 21 de febrer de 1242.

L'ordre de Sant Joan de l'Hospital, col•laboradora dels monarques aragonesos en la conquesta valenciana rebrà, com recompensa a aquesta col•laboració, entre unes altres la vila i castell de Vilafamés, de la qual va ser senyora fins a 1317, data que la vila i castell queda annexionada a la recent creada ordre de Santa Maria de Montesa. El 3 de desembre de 1317 Gonçal Garcia, comissionat pel rei, rep els béns de l'Hospital. Un dia després, s'absol als habitants de Vilafamés del jurament de fidelitat que amb la recent dissolta ordre tenien. Malalt a Peníscola, fra Guillem d’Erill, primer mestre de Montesa, és fra Erimà d’Eroles qui en 3 de setembre de 1319 en nom de l'ordre rep el nou jurament dels habitants.

En 1343, Pere IV el Cerimoniós, empenyora a l'ordre el mer i mixt imperi, amb les corresponents jurisdiccions, drets i emoluments que pertanyien a la corona.

Joan I, estant a València, en 1393 concedeix a Vilafamés el privilegi pel qual el Consell pot fer i ordenar tot tipus d'establiments i ordinacions que considere convenients conforme als furs generals del regne.

En les Corts celebrades a València durant l'any 1403, Martí I l'Humà disposa donar possessió al mestre de Montesa del mer i mixt imperi de la població, aquest fet provocarà la protesta airada del Consell en 1404.

Ja en el segle XVI, en 1519, Carles I promet no separar de la corona la jurisdicció civil i criminal, i el mer i mixt imperi de la vila. Quan en 1635 culminen les desavinences sorgides entre els Justícies, per una banda, i l'ordre d'una altra, el Consell creu arribat el moment de sol•licitar del Papa Inocenci XII autorització per a comprar la jurisdicció alfonsina, adquisició que porta a terme el 16 d'abril pel preu de sis mil lliures. A partir d'aquesta data, Vilafamés queda incorporada plenament al patrimoni real, reservant-se Montesa la percepció de certes primícies i el dret d'habitació sobre el castell.

Serà en el segle XIX, amb els enfrontaments civils que segueixen a la mort de Ferran VII, quan el nom de Vilafamés sonarà de nou dintre de l'àmbit històric com plaça inexpugnable. Al març de 1837 sofreix el primer intent d'assalt. El Serrador, capitost carlista, intenta el setge que durarà tres dies, fins que arriba en auxili dels assetjats una columna realista des de Castelló i obliga a aixecar el campament dels carlistes. El 29 d'octubre de 1838 la guarnició de la plaça rebutja un sego intent, que es repetirà de nou el 3 de gener del següent any, aquesta vegada amb Cabrera al capdavant de les tropes, que des de les muntanyes que dominen la vila comencen a assetjar la població, obrint foc contra la ciutadella. En aquesta ocasió es va plantar cara al setge per part dels veïns a més de contar amb l'ajuda d'una columna mòbil enviada per l'Ajuntament de Castelló i un destacament d'artilleria de marina, molt poc nombrós. Cinc dies van durar els continus enfrontaments, rebutjant la població tots els atacs de Cabrera, fins que el dia 7 l'arribada de tropes reals va obligar al general carlista a aixecar el lloc.

Amb el més selecte de les seves tropes i recorrent a l'auxili de les de Forcadell, Cabrera intentarà el cop definitiu a l'abril del mateix any, establint un campament davant la població. El dia 16 s'obre una bretxa en les muralles, encara que els atacants són rebutjats i resulten infructuosos tots els esforços de prendre la plaça. Davant la impossibilitat de prendre la plaça, Cabrera aixeca el campament i es dirigeix cap a l’Alcora.