Dzieciństwo w Harlemie
Podczas Depresji rodzina Gibsonów przeniosła się na północ do Harlemu. Kiedy miała dziesięć lat, Gibson zaangażowała się w ruch Police Athletic League (PAL), znany jako „play streets”. Zasadniczo PAL był próbą pomocy dzieciom z problemami w wyrobieniu nawyków pracy, które mogłyby wykorzystać w późniejszym życiu. W 1940 roku w Harlemie PAL promował piłkę wiosłową. Po trzech latach rywalizacji w paddleballu Gibson była tak dobra, że Cosmopolitan Tennis Club sponsorował ją, aby nauczyła się gry w tenisa i właściwego zachowania społecznego.
W 1942 roku Gibson zaczęła wygrywać turnieje sponsorowane przez American Tennis Association (ATA), czarny odpowiednik United States Lawn Tennis Association (USLTA). W 1944 i 1945 roku Gibson wygrał Krajowe Mistrzostwa Juniorów ATA. W 1946 roku Gibson został uznany przez politycznie bystrych czarnych za gracza, który może pomóc w przełamaniu zinstytucjonalizowanego rasizmu w Stanach Zjednoczonych. Sponsorowana przez Huberta Eatona i Waltera Johnsona oraz zainspirowana przez Sugar Ray Robinsona, Gibson wkrótce zdominowała każde wydarzenie w kalendarzu ATA. Na początku lat 50. była już gotowa znieść trudy przełamywania bariery koloru w tenisie.