Thomas Whaley, zijn vrouw en hun vijf kinderen, woonden in het huis dat ook de locatie was van verschillende Old Town organisaties waaronder het eerste theater van San Diego, het gerechtsgebouw van het graafschap, een school en de Whaley General Store. De kinderen van Whaley groeiden op in wat door de San Diego Herald werd beschouwd als het mooiste nieuwe bakstenen blok in Zuid-Californië, en het is in die jaren dat verschillende tragische gebeurtenissen mogelijk de aanzet hebben gegeven tot de gerapporteerde paranormale activiteit. Een van die gebeurtenissen, de gewelddadige zelfmoord van Violet, een van de Whaley-dochters, bracht Thomas ertoe een nieuw huis te bouwen in het centrum van San Diego en zijn gezin daar onmiddellijk heen te verhuizen.
In 1890 overleed Thomas Whaley in het nieuwe huis aan State Street, om nooit meer terug te keren naar het oorspronkelijke landgoed. Het Whaley House was bijna 20 jaar verlaten, verwaarloosd en in slechte staat, totdat Francis Whaley in 1909 besloot terug te keren. Nadat hij er was ingetrokken, begon Francis met de restauratie van het landgoed en vermaakte hij de toeristen door op zijn gitaar te spelen en verhalen te vertellen over de achtergrond van het huis. In de jaren die volgden keerden de meeste leden van de familie Whaley terug om in het bakstenen huis te wonen en uiteindelijk te sterven, waaronder Francis die een jaar na zijn moeder Anna overleed, in 1913.
Het laatste overlevende kind van de Whaleys, Lillian, woonde alleen in het huis tot haar dood in 1953. Het Whaley House werd op 25 mei 1960 een historisch huismuseum en heeft sindsdien zijn gasten “bang gemaakt” en in vervoering gebracht. Sommigen melden dat ze de geest hebben gezien van Jim Robinson, die in 1852 werd opgehangen, achter de plek waar het huis is gebouwd. Er zijn ook talrijke meldingen van waarnemingen van Thomas Whaley, zijn vrouw Anna en verschillende andere historische inwoners van Old Town.
Heeft het huis echt een spookgebeuren?
Dat kan men alleen zelf vaststellen. Maar de allure van deze belangrijkste bezienswaardigheid van San Diego lokt elk jaar meer dan 100.000 mensen.