Thomas Whaley, a sua esposa e os seus cinco filhos, viviam na casa que era também a localização de várias organizações da Cidade Velha, incluindo o primeiro teatro de San Diego, o tribunal do condado, uma escola e a Whaley General Store. As crianças Whaley cresceram no que foi considerado pelo San Diego Herald o melhor novo bloco de tijolos do sul da Califórnia, e é durante esses anos que vários eventos trágicos podem ter iniciado a actividade paranormal relatada. Um desses eventos, o violento suicídio de Violet, uma das filhas dos Whaley, levou Thomas a construir uma nova casa no centro de San Diego e a transferir a sua família para lá de uma só vez.
Em 1890, Thomas Whaley faleceu na nova casa na State Street, para nunca mais voltar à propriedade original. Abandonada há cerca de 20 anos, a Casa dos Baleeiros foi negligenciada e em mau estado até que Francis Whaley decidiu regressar em 1909. Depois de se mudar, Francis começou a restaurar a propriedade e a entreter os turistas tocando a sua guitarra e contando histórias sobre o passado da casa. Nos anos que se seguiram, a maioria dos membros da família Whaley voltou a viver e eventualmente morrer na casa de tijolos, incluindo Francis que faleceu um ano após a sua mãe Anna, em 1913.
A última criança sobrevivente das baleias, Lillian, viveu na casa sozinha até à sua morte em 1953. A Casa das Baleias tornou-se uma casa museu histórico a 25 de Maio de 1960 e desde então tem sido “assustadora” e entusiasmante para os seus hóspedes. Alguns relatam ter visto o fantasma de Jim Robinson, que foi enforcado em 1852, por detrás do local onde a casa foi construída. Houve também numerosos relatos de avistamentos de Thomas Whaley, da sua esposa Anna e de vários outros cidadãos da Cidade Velha Histórica.
É a casa verdadeiramente assombrada?
Um só pode determinar isso por si próprio. Mas o fascínio deste marco mais significativo de San Diego acena a mais de 100.000 pessoas todos os anos.