W swoim pierwszym „Raporcie Prezydenta” z czerwca 1866 r. Lee zwrócił się do zarządu Washington College o przyznanie funduszy na budowę większej kaplicy. Lee zwrócił uwagę, że college potrzebuje miejsca wystarczająco dużego, aby pomieścić rosnącą liczbę studentów i zasugerował, aby zarząd przekształcił stare pomieszczenie kaplicy w bardzo potrzebne sale lekcyjne. Zarząd wyznaczył komisję do zbadania tej sprawy. Miesiąc później komisja zaleciła zatwierdzenie prośby Lee i przedstawiła „plan przygotowany przez prezydenta Lee”. Jednak inne dowody, w tym list z 1866 roku od pułkownika Thomasa Williamsona, profesora inżynierii cywilnej i wojskowej Virginia Military Institute, wskazują, że to Williamson był architektem, a Lee i jego syn Custis Lee służyli jako konsultanci. Ilustracje budynku Smithsonian Institution autorstwa Johna Renwicka z 1847 roku, znanego również jako „Zamek”, wywarły silny wpływ na delikatny romański projekt kaplicy Lee autorstwa Williamsona. Jej pełna wdzięku wieża i wysokie okna z kratami kontrastowały z resztą klasycznego Washington College, z którego charakterystyczną kolumnadą się styka, oraz z gotyckim kampusem VMI.
Kaplica, którą Lee opisał jako „przyjemny, jak również użyteczny dodatek do budynków College’u”, została poświęcona rankiem 14 czerwca 1868 roku. Później tego samego popołudnia, inaugurując tradycję Washington College, w kaplicy odbyły się uroczystości rozpoczęcia roku akademickiego. Wraz z początkiem semestru wrześniowego nowa kaplica była wykorzystywana do codziennych nabożeństw oraz jako audytorium. Każdego ranka Lee uczestniczył w nabożeństwie, a następnie schodził na dół do pracy w swoim biurze w piwnicy.
Po śmierci Lee, wdowa po nim wybrała kaplicę jako miejsce jego pochówku. Kondukt pogrzebowy przeniósł jego szczątki do kaplicy 14 października 1870 roku, a kadeci z VMI pełnili wartę honorową przez całą noc. Pogrzeb Lee odbył się następnego dnia rano, po czym pochowano go w wyłożonej cementem ceglanej krypcie w podziemiach kaplicy. Na uroczystości w kaplicy 19 stycznia 1872 roku – w dniu urodzin Lee – wygłoszone zostało przemówienie Jubala A. Early’ego, w którym były konfederacki generał przekonywał o „cudownych zdolnościach i śmiałości Lee jako dowódcy wojskowego”. Przemówienie zostało wygłoszone w kontekście sporów między byłymi konfederatami o to, kogo należy winić za porażkę Konfederacji w wojnie secesyjnej (a zwłaszcza klęskę w bitwie pod Gettysburgiem w lipcu 1863 r.) i było przełomowym wydarzeniem w tworzeniu tzw. poglądu na wojnę jako Straconą Sprawę.
Już rok po jego śmierci, w 1871 r., Stowarzyszenie Memoriału Lee zamówiło u Edwarda Valentine’a naturalnej wielkości marmurowy posąg. Nie znaleziono dla niej odpowiedniego miejsca aż do 28 czerwca 1883 roku, kiedy to na tyłach kaplicy poświęcono mauzoleum Lee i salę pamięci.
Grób i posąg Lee były czczone od momentu ich powstania – zgodnie ze statusem Lee jako ostatecznego bohatera w interpretacji wojny secesyjnej według koncepcji „Straconej Sprawy” – ale kaplica zyskała uznanie jako sanktuarium dopiero na przełomie XIX i XX wieku. Dyskusja nad powiększeniem kaplicy w latach 20. ubiegłego wieku pomogła ugruntować jej status jako pomnika życia i charakteru Lee, ale zamiast tego kaplica została zabezpieczona przed pożarem. Prace renowacyjne w latach 60-tych unowocześniły strukturę, ale spowodowały utratę wielu oryginalnych materiałów. Bardziej konserwatywne renowacje w latach 90-tych zapewniły nowoczesne okablowanie i udogodnienia, jednocześnie chroniąc architektoniczną integralność kaplicy. Chociaż nie jest już wystarczająco duża, aby pomieścić całe ciało studenckie, kaplica i jej teren nadal służą jako miejsce ważnych wydarzeń uczelnianych i obywatelskich, a także do uhonorowania spuścizny jej imiennika.