Thomas Whaley, seine Frau und ihre fünf Kinder lebten in dem Haus, das auch der Standort verschiedener Old Town Organisationen war, darunter San Diegos erstes Theater, das Bezirksgericht, eine Schule und der Whaley General Store. Die Whaley-Kinder wuchsen in dem Haus auf, das vom San Diego Herald als der schönste neue Backsteinblock in Südkalifornien bezeichnet wurde, und in diesen Jahren haben verschiedene tragische Ereignisse möglicherweise die berichteten paranormalen Aktivitäten ausgelöst. Eines dieser Ereignisse, der gewaltsame Selbstmord von Violet, einer der Whaley-Töchter, veranlasste Thomas Whaley, ein neues Haus in der Innenstadt von San Diego zu bauen und seine Familie sofort dorthin umzusiedeln.
Im Jahr 1890 verstarb Thomas Whaley in dem neuen Haus in der State Street und kehrte nie wieder in das ursprüngliche Anwesen zurück. Fast 20 Jahre lang stand das Whaley House leer, war vernachlässigt und in schlechtem Zustand, bis Francis Whaley sich 1909 entschloss, zurückzukehren. Nachdem er eingezogen war, begann Francis das Anwesen zu restaurieren und Touristen zu unterhalten, indem er auf seiner Gitarre spielte und Geschichten über den Hintergrund des Hauses erzählte. In den folgenden Jahren kehrten die meisten Mitglieder der Whaley-Familie zurück, um in dem Backsteinhaus zu leben und schließlich zu sterben, darunter auch Francis, der ein Jahr nach seiner Mutter Anna im Jahr 1913 verstarb.
Das letzte überlebende Kind der Whaleys, Lillian, lebte bis zu ihrem Tod im Jahr 1953 allein im Haus. Am 25. Mai 1960 wurde das Whaley House als historisches Hausmuseum eröffnet und spukt seither vor den Augen der Gäste. Einige berichten, den Geist von Jim Robinson gesehen zu haben, der 1852 hinter dem Haus gehängt wurde. Es gibt auch zahlreiche Berichte über Sichtungen von Thomas Whaley, seiner Frau Anna und verschiedenen anderen historischen Bürgern der Altstadt.
Spukt es in dem Haus wirklich?
Das kann man nur selbst feststellen. Aber die Anziehungskraft dieses bedeutendsten Wahrzeichens von San Diego lockt jedes Jahr mehr als 100.000 Menschen an.