Thomas Whaley, su esposa y sus cinco hijos, vivieron en la casa que también fue la ubicación de varias organizaciones de la Ciudad Vieja, incluyendo el primer teatro de San Diego, el tribunal del condado, una escuela y la Tienda General Whaley. Los hijos de Whaley crecieron en lo que el San Diego Herald consideró el mejor bloque de ladrillos del sur de California, y es durante esos años que varios acontecimientos trágicos pueden haber iniciado la actividad paranormal de la que se ha informado. Uno de esos acontecimientos, el violento suicidio de Violet, una de las hijas de Whaley, hizo que Thomas construyera una nueva casa en el centro de San Diego y trasladara allí a su familia de inmediato.
En 1890, Thomas Whaley falleció en la nueva casa de State Street, para no volver nunca más a la finca original. Abandonada durante cerca de 20 años, la Casa Whaley quedó abandonada y en mal estado hasta que Francis Whaley decidió volver en 1909. Tras mudarse, Francis comenzó a restaurar la propiedad y a entretener a los turistas tocando su guitarra y contando historias sobre el pasado de la casa. En los años siguientes, la mayoría de los miembros de la familia Whaley volvieron a vivir y, finalmente, a morir en la casa de ladrillo, incluido Francis, que falleció un año después que su madre Anna, en 1913.
La última hija superviviente de los Whaley, Lillian, vivió sola en la casa hasta su muerte en 1953. La Casa Whaley se convirtió en una casa museo histórica el 25 de mayo de 1960 y desde entonces ha estado «asustando» y emocionando a los huéspedes. Algunos dicen haber visto el fantasma de Jim Robinson, que fue ahorcado en 1852, detrás de donde se construyó la casa. También se ha informado de numerosos avistamientos de Thomas Whaley, su esposa Anna y otros ciudadanos del casco antiguo.
¿Está la casa realmente embrujada?
Eso sólo lo puede determinar uno mismo. Pero el encanto de este monumento más significativo de San Diego atrae a más de 100.000 personas cada año.