Junto a la ciudad de Eger se encontraba un castillo que fue destruido por los mongoles en el siglo XIII. Después de eso, el obispo de Eger estableció un nuevo castillo en la ciudad en una colina. En el siglo XV, se construyó un palacio gótico dentro de las murallas del castillo. El Castillo de Eger se hizo famoso en 1552 cuando el ejército otomano sitió la ciudad con unos 40,000 soldados, mientras que había 2100 defensores. Los turcos se retiraron después de grandes pérdidas, mientras que al final del asedio había 1700 defensores vivos. A finales del siglo XVI, las tropas otomanas capturaron el castillo. Se construyó una mezquita y un baño turco en la ciudad, que aún permanecen en pie hoy en día.