Povestea castelului a început în 1912, când Jenő Bory a cumpărat terenul de un acru în Valea Maria, lângă Székesfehérvár. Avea doar puțină cramă și își petreceau vacanța de vară acolo. El a decis să construiască castelul după ce proiectul Bisericii lui Francisc Ferdinand și Casa Sophia din Sarajevo a eșuat din cauza Primului Război Mondial.