Aunque investigaciones recientes han creído ver vestigios romanos, el primer documento que alude a la antigua población de Torralba, Vialeba, está firmado por el rey musulmán sayyid Abu Zayd. En este documento se compromete a ceder sus territorios a Jaime I y a convertirse al cristianismo. Por otra parte, en la catedral de València se conserva el testamento del hijo del sayyid Abu Zayd, Fernando, convertido ya al cristianismo, en el que lega a sus herederos el castillo de Vialeba y Torralba.

La conversión al cristianismo del sayyid Abu Zayd le reportó muchos beneficios y así eludió los problemas que le hubiera ocasionado permanecer fiel a su fe musulmana. Una heredera suya, llamada Alda, se desposó con don Ximén Pérez Tarazona. Ella llevó como dote al matrimonio Castillo de Villamalefa, Puebla de Arenoso y Campos de Arenoso. En 1242, Jaime I le concedió la baronía de Arenoso y pasó a ser señor de Arenoso, y cambió entonces su nombre por el de Ximén Pérez de Arenoso. Así pues, los herederos del sayyid Abu Zayd se emparentaron con la nobleza cristiana y disfrutaron de sus prerrogativas.

En el testamento de Fernando Pérez, hijo del sayyid Abu Zayd, un interesante pergamino que se dio a València en 1262 y que está escrito en letra gótica aragonesa y en latín, aparece por primera vez el nombre Torralba.

Pero, a pesar de la cristianización de sus señores, Torralba del Pinar sigue conservando su población morisca hasta su expulsión en 1609. Dos años después, el municipio, que ya pertenecía a la baronía de Ayódar, es repoblado por cristianos.

Existen varios yacimientos arqueológicos del período ibérico, así como una antigua mina de mineral de hierro explotada entonces, situada en el paraje de las Cimillas. Alrededor de la boca de la mina, se ve esparcida por el suelo cerámica ibérica. En el bancal situado junto a la iglesia, asimismo, se halló una moneda romana, concretamente del emperador Claudio, y un pondus (ibérico o latino), y en la era del Pinillo, la base de un lacrimarium o botellita de perfume o de ungüentos, de vidrio anacarado.

Hace cincuenta años existía esta tradición oral: para construir el campanario y la iglesia desmontaron los sillares de una antigua torre situada en la parte más alta del pueblo, lugar que se llama desde siempre “la Torre”. Los utilizaron en la nueva iglesia, una obra de mucha envergadura para aquella época en este pueblo de montaña, que no disponía de medios de transporte, ni caminos de carro, ni grúas… Entonces era un núcleo humano totalmente apartado de las poblaciones importantes. El topónimo Torralba, de origen latino, compuesto de turris -is, más la raíz alba, ‘colonia fortificada, castillo’, de origen prerromano, tomada a través del latín, hace pensar que el inicio de este pueblo fuera una torre romana de vigilancia, de la que más tarde obtuvieron los sillares para la construcción del templo.

La fundación del municipio por los árabes y la permanencia a lo largo de los siglos de los moriscos, ha originado que el casco urbano de Torralba del Pinar siga manteniendo un clarísimo aspecto musulmán: calles estrechas y concéntricas se suceden entre las paredes encaladas de las casas, con sus típicos balcones adornados con flores.

Casco urbano: hoy en día todavía se aprecia su aspecto medieval, ya que aún se pueden observar restos arquitectónicos del amurallamiento medieval (entre los siglos ix y xiii) y otras estructuras en algunas de las casas de la población.

Castillo de Vialeva o Torralba del Pinar: la función estratégica del mismo sería el control de los caminos, de los pasos hacia Villamalur y el valle del Mijares. Es de origen árabe y probablemente fue construido entre los siglos x y xii.

Ermita de Santa Bárbara: ermita de una sola nave encalada y atrio con arcadas. Se cree que fue construida sobre una antigua mezquita árabe.

Iglesia parroquial: dedicada a la transfiguración del Señor. Obra del siglo xviii, aunque con remodelaciones posteriores, del siglo xix. Esta iglesia guarda, en su interior, una interesante cruz procesional del siglo xv.

Recinto fortificado de Torralba del Pinar: se trata de una población fortificada de planta circular que contó con una sólida muralla y una torre mayor central. En su recinto amurallado todavía se pueden apreciar restos arquitectónicos del amurallamiento medieval (siglos ix y xiii), confundidos con el caserío existente, salvo algún tramo con aspilleras que se encuentra visible. La torre, según la tradición del lugar, fue desmontada y sus sillares utilizados en la construcción de la nueva iglesia, a finales del siglo xvii. Cabe destacar también el castillo de origen árabe, probablemente construido entre el siglo x y el siglo xii, y del que se aprecian diversos restos de murallas fundidas con las paredes rocosas que circundan la colina sobre la que se edificó. Está declarado bien de interés cultural, con categoría de monumento, por la disposición adicional primera de la Ley 4/1998, de 11 de junio, del Patrimonio Cultural Valenciano. Parte de las murallas han sido demolidas, bien por el levantamiento de la iglesia nueva en el siglo xvii, bien por el derribo reciente de algunas viviendas apoyadas en aquellas.