Dans son premier « rapport du président » daté de juin 1866, Lee a demandé au conseil d’administration du Washington College d’allouer des fonds pour construire une plus grande chapelle. Lee a souligné que le collège avait besoin d’un espace suffisamment grand pour accueillir le nombre croissant d’étudiants et a suggéré que les administrateurs convertissent l’ancienne salle de la chapelle en salles de classe dont on avait grand besoin. Le conseil a chargé un comité d’étudier la question. Un mois plus tard, le comité a recommandé d’approuver la demande de Lee et a soumis « un plan préparé par le président Lee ». Cependant, d’autres éléments, dont une lettre de 1866 du colonel Thomas Williamson, professeur d’ingénierie civile et militaire au Virginia Military Institute, indiquent que Williamson était l’architecte, tandis que Lee et son fils Custis Lee faisaient office de consultants. Les illustrations du bâtiment de la Smithsonian Institution de John Renwick (1847), également connu sous le nom de « château », ont fortement influencé la délicate conception romane de la chapelle Lee par Williamson. Sa tour gracieusement évasée et ses hautes fenêtres grillagées contrastaient fortement avec le reste du Washington College classique, dont elle fait face à la colonnade distinctive, et le campus gothique du VMI.
La chapelle, que Lee a décrite comme « un ajout agréable aussi bien qu’utile aux bâtiments du collège », a été inaugurée le matin du 14 juin 1868. Plus tard dans l’après-midi, inaugurant une tradition du Washington College, les exercices de commencement ont eu lieu à l’intérieur de la chapelle. À la rentrée de septembre, la nouvelle chapelle est utilisée pour les services religieux quotidiens et comme auditorium. Lee assistait au service de la chapelle chaque matin, puis descendait pour travailler dans son bureau au sous-sol.
Après la mort de Lee, sa veuve a choisi la chapelle comme lieu de son enterrement. Un cortège funéraire a porté sa dépouille jusqu’à la chapelle le 14 octobre 1870, et les cadets du VMI ont assuré la garde d’honneur pendant toute la nuit. Les funérailles de Lee eurent lieu le lendemain matin, suivies de son enterrement dans un caveau en briques recouvert de ciment au sous-sol de la chapelle. Lors d’une cérémonie à la chapelle le 19 janvier 1872 – date d’anniversaire de Lee – Jubal A. Early prononça un discours dans lequel l’ancien général confédéré souligna « la merveilleuse capacité et l’audace de Lee en tant que commandant militaire ». Le discours a été prononcé dans le contexte des disputes entre les anciens Confédérés sur la question de savoir qui était à blâmer pour la défaite des Confédérés dans la guerre civile (et en particulier la défaite à la bataille de Gettysburg en juillet 1863) et a été un événement marquant dans la création de la vision de la guerre dite de la Cause perdue.
Juste un an après sa mort, en 1871, la Lee Memorial Association a commandé une statue en marbre grandeur nature à Edward Valentine. Aucun foyer approprié n’a été trouvé pour elle jusqu’au 28 juin 1883, date à laquelle le mausolée de Lee et une salle commémorative ont été inaugurés à l’arrière de la chapelle.
La tombe et la statue de Lee ont été vénérées dès leur création – conformément au statut de Lee en tant que héros ultime dans l’interprétation de la cause perdue de la guerre civile – mais la chapelle n’a été reconnue comme un sanctuaire sacré qu’après le tournant du XXe siècle. Les discussions sur l’agrandissement de la chapelle dans les années 1920 ont contribué à consolider son statut de monument commémoratif de la vie et du caractère de Lee, mais la chapelle fut plutôt ignifugée. Les travaux de restauration des années 1960 ont permis de moderniser la structure mais ont entraîné la perte de nombreux matériaux d’origine. Des rénovations plus conservatrices dans les années 1990 ont permis d’installer un câblage et des équipements modernes tout en protégeant l’intégrité architecturale de la chapelle. Bien qu’elle ne soit plus assez grande pour accueillir l’ensemble du corps étudiant, la chapelle et son terrain continuent de servir de site pour d’importants événements collégiaux et civiques, et d’honorer l’héritage de son homonyme.