Situado en la cima de la montaña que separa las playas de Lloret de Mar y Fenals. Data de principios del siglo XI d.C. Posiblemente en época de la señora Sicardis y sus hijos, Señores de Lloret (1041 -1110), y tenía bajo su jurisdicción el término feudal de Lloret. En 1079 se consagró su capilla, pero de la fortificación originaria quedan sólo los cimientos de la torre del homenaje, la muralla este, unos vestigios en el lado sur y varios silos excavados en el subsuelo, actualmente tapados. En el siglo XII el dominio del castillo fue compartido entre la sede de Girona y los señores de Palafolls, hasta que pasó completamente a ser de la sede Gerundense el año 1218.
Fue afectado por una destrucción de la flota genovesa en 1356 y posiblemente por los terremotos de 1427 - 1428, pero siempre fue reconstruido. En los siglos XV-XVI hubo unas reformas que le han dado el aspecto actual, con dos alas de habitaciones al norte y al este, adosadas a la muralla y abiertas a un patio interior. Hasta finales del s. XVII el castillo aún estuvo en funcionamiento, como lo prueban los materiales arqueológicos encontrados. En estos siglos el castillo servía sobretodo de torre de vigía para prevenir los posibles ataques marítimos.
En el año 1805, en el marco de la guerra de Inglaterra contra España y Francia, un barco de guerra británico lanzó diversos cañonazos que derribaron parte de la torre y de la muralla. Finalmente, dos tempestades de los años 1840 y 1923, acabaron de derribar tramos de la muralla y la antigua torre del castillo.
La protección del castillo como Bien de Interés Cultural según el decreto de 22 de abril de 1949, lo salvó de su demolición en los años 60, a raíz de unas obras de urbanización que lo dañaron en parte. Después de unas primeras excavaciones arqueológicas de los años 1965-1968 y 1983, En el año 1992 se acabó de restaurar la torre "del homenaje", desde donde se puede disfrutar de una vista extraordinaria. Finalmente, entre los años 2000-2001, se ha procedido a completar las excavaciones y a su museografía, para poder conocer mejor nuestra historia medieval y para hacer accesible el espacio para su visita cultural, garantizando su protección, con una nueva señalización del monumento, mediante diversos carteles con todo tipo de información sobre la evolución histórica del castillo y, en general, de la Vila de Lloret de Mar.