Arquitectura del castell

Com en la major part dels castells medievals, la planta es compon d'una torre mestra envoltada d'una muralla de quatre costats i diverses dependències interiors adossades. La porta era al mur de llevant que té un gruix d'1,50 m i una alçada actual de 10 m. La torre circular, té un diàmetre d'11,80 m i el gruix dels murs és de 2 m. Actualment té una alçada de 12 m. segurament inferior a l'original. L'aparell constructiu és de carreus d'uns 25 x 35 cm amb filades horitzontals units per morter de calç. L'antiga porta sembla situada a 6 m d'alçada. La torre era circuïda per un recinte rectangular. Al costat de migjorn d'aquest recinte hi havia una sala rectangular de 28,5 x 6,35 m, de la qual es conserven els quatre murs fins a l'inici de la volta on hi ha una restallera d'encaixos que es deurien usar per a la bastida. A la paret nord s'obre una porta de 150 cm a l'exterior i una alçada de 200 cm, s'acaba en un arc de mig punt format per 8 dovelles de 35 cm de longitud.

A ponent del clos murallat, una altra sala 'uns 11 m x 5,7 m i entre aquesta i la sala anterior una altra sala de 12,60 x 5,70 m de la qual s'endevina la volta que la cobria. Una de les dues portes d'aquesta darrera edificació es conserva clarament i acaba en un arc de mig punt. Els murs del clos de la muralla han conservat una alçada de 10 m. A l'interior del mur de llevant hi ha un fragment de paret amb pedres inclinades formant una mena d'«opus spicatum». A la base del mur, unes filades de carreus grossos i ben escairats. Aquests dos fragments de mur són les restes més antigues del castell de Llers.