El solar en el que está emplazada la Casa Rosada fue, durante toda la historia de Buenos Aires, la sede de las distintas y sucesivas autoridades políticas que gobernaron el país. A poco de fundar la Ciudad en 1580, Don Juan de Garay mandó cavar una zanja y terraplenes formados con las mismas tierras extraídas de ella, encerrando dentro el origen de lo que más adelante se llamó "Real Fortaleza de San Juan Baltasar de Austria" o "Castillo de San Miguel".
Posteriormente, en 1595, el gobernador Fernando de Zárate mandó levantar una amurallada construcción de 120 metros de lado, con foso y puente levadizo, que se alzó en la manzana ceñida por las actuales calles Rivadavia, Balcarce e Hipólito Yrigoyen y la Avenida Paseo Colón sobre las barrancas que entonces daban al río.
Finalmente, a principios del siglo XVIII se construyó un sólido fuerte, íntegramente hecho de ladrillos, cuyas murallas y bastiones perduraron hasta su demolición, un siglo y medio después.
Ya en el período de la Independencia, la Casa que había sido residencia de gobernadores y virreyes españoles, albergó, con muy pocas reformas, a las autoridades de los sucesivos gobiernos patrios: las Juntas, los Triunviratos, los Directores Supremos, los Gobernadores de Buenos Aires y el Primer Presidente de la Argentina, Bernardino Rivadavia.
Abandonada y parcialmente demolida, volvió a tener protagonismo como sede del gobierno político a partir de 1862, cuando Mitre se instaló con sus ministros, remozando la antigua residencia oficial del fuerte. Su sucesor, Sarmiento, decidió embellecer la morada del Poder Ejecutivo Nacional, dotándola de jardines y pintando las fachadas de color rosado, con el que, posteriormente, se continuó caracterizando.
La construcción de la actual Casa de Gobierno comenzó en 1873, cuando por decreto se ordenó construir el edificio de Correos y Telégrafos en la esquina de Balcarce e Hipólito Yrigoyen.
Pocos años después, el presidente Julio A. Roca decidió la construcción del definitivo Palacio de Gobierno en la esquina de Balcarce y Rivadavia, edificación similar al vecino Palacio de Correos. Ambos edificios se unieron en 1886 mediante el pórtico que hoy constituye la entrada de la Casa Rosada que da hacia Plaza de Mayo.
Con estas construcciones, desaparecieron los últimos recintos del antiguo Fuerte del que, sin embargo, quedan como testigos algunos muros y una tronera que se conservan y pueden visitarse, contiguas a las galerías de la Aduana de Taylor en el Museo de la Casa de Gobierno.
