Życie w Białym Domu podczas administracji Woodrowa Wilsona charakteryzowało się momentami wielkiego szczęścia i radości dla prezydenta, jak również czasami głębokiego smutku. Jego ukochana pierwsza żona, Ellen Louise Wilson, zmarła na chorobę Brighta 6 sierpnia 1914 roku. Jej śmierć zdruzgotała prezydenta. Zawsze potrzebujący kobiecego towarzystwa i uczucia, Wilson w końcu doszedł do siebie i 18 grudnia 1915 roku poślubił Edith Bolling Galt. W chwili ślubu miała ona czterdzieści trzy lata i była waszyngtońską wdową. Nie pobrali się jednak w Białym Domu, ponieważ w prasie krążyło wiele złośliwych plotek na temat braku szacunku Wilsona dla pamięci jego pierwszej żony.
Wilson, którego energiczny postępowy program i nadzór nad wojną pozostawiały mu niewiele czasu na rekreację. Zgodnie z zaleceniami lekarzy Wilson regularnie ćwiczył grając w golfa, choć uważał to za głupią grę. Jeździł też konno i lubił rejsy po Zatoce Chesapeake na pokładzie prezydenckiego jachtu Mayflower. Przede wszystkim uwielbiał przejażdżki po kraju limuzyną Pierce Arrow z Białego Domu.
Dla rozrywki lubił chodzić na mecze baseballowe, występy wodewilowe i komedie muzyczne, a szczególnie lubił, w zaciszu Białego Domu, czytać na głos ulubionych angielskich poetów. Kiedy był w frywolnym nastroju, Wilson naśladował politycznych rywali lub opowiadał tak zwane „historie darky” ze swojej młodości (jedna z kwestii w dzisiejszych sporach o rasową spuściznę Wilsona). Kiedy cała rodzina była w domu, często gromadziła się przy pianinie, by śpiewać hymny i popularne piosenki. Jego najstarsza córka, Margaret, która w 1912 r. miała dwadzieścia sześć lat, była zawodową sopranistką, często występującą w czasie wojny w obozach wojskowych. Nigdy nie wyszła za mąż, w końcu przeniosła się do Indii, gdzie żyła jako mistyczka. Jessie, o rok młodsza od Margaret, i Eleanor, o trzy lata młodsza, wzięły ślub w Białym Domu w 1913 i 1914 roku. Wilson był oddany swojej rodzinie, raz gorzko pouczając reporterów na konferencji prasowej za naruszanie prywatności rodziny, gdy spekulacje na temat romansów dziewczynek ukazały się w druku.
Wilson wyświetlił pierwszy film fabularny w Białym Domu, Narodziny narodu D. W. Griffitha. Film powstał na podstawie powieści jednego z byłych studentów Wilsona, Thomasa Dixona, i został pokazany na prośbę Dixona. Jego dosadny rasizm i argument, że Rekonstrukcja uwolniła czarnych, by żerowali na bezbronnych białych na powojennym Południu, nie w pełni odzwierciedlał opinię Wilsona o tym okresie; w książce o historii epoki, Division and Reunion, napisał, że koniec niewolnictwa był korzyścią z wojny secesyjnej, choć w innych miejscach krytycznie odnosił się do zaangażowania czarnych w Rekonstrukcję. Wilson nie wypowiedział się na temat filmu w czasie jego projekcji, ale kilka dni później Biały Dom wydał oświadczenie, w którym odciął prezydenta od poglądów zawartych w filmie.
Niemniej jednak, wiele lat później, publicysta filmowy przypisał Wilsonowi barwny komentarz na temat filmu, który stał się sławny. Według tej historii Wilson miał powiedzieć: „To jest jak pisanie historii za pomocą błyskawicy. Żałuję tylko, że to wszystko jest tak straszliwie prawdziwe”. Podczas gdy Wilson nigdy nie wypowiedział tych słów, jego osobista i polityczna ambiwalencja w stosunku do pełnych praw Afroamerykanów jako równych obywateli niewątpliwie przyczyniła się do utrzymania siły tej historii.