În 1565, împăratul mogul Akbar a început să înlocuiască vechiul fort din cărămidă cu un nou fort construit din gresie roşie. Fortul Agra constă din două ziduri între ele fiind un șanț care a avut odată crocodili înfometaţi așteptând orice atacator să cadă în apă. Podul de lemn și poarta erau operate de elefanţi bine pregătiţi. Cele trei porți cu faţa în direcții diferite nu erau în linie dreaptă astfel încât orice atac cu elefanți sau cai trebuia să încetinească. Mogulii erau originali din Persia, dar mama lui Babur, fondatorul dinastiei, a fost mongolă şi de aceea au fost numiţi moguli.