Infancia en Harlem
Durante la Depresión la familia Gibson se trasladó al norte, a Harlem. Cuando tenía diez años, Gibson se involucró en el movimiento de la Liga Atlética de la Policía (PAL) conocido como «play streets». Esencialmente, PAL era un intento de ayudar a los niños con problemas a establecer hábitos de trabajo que utilizarían más adelante en la vida. En 1940, en Harlem, PAL promovió el pádel. Después de tres veranos de competición de pádel, Gibson era tan buena que el Cosmopolitan Tennis Club la patrocinó para que aprendiera el juego del tenis y el comportamiento social adecuado.
En 1942 Gibson comenzó a ganar torneos patrocinados por la American Tennis Association (ATA), la contraparte negra de la United States Lawn Tennis Association (USLTA). En 1944 y 1945 Gibson ganó el Campeonato Nacional Juvenil de la ATA. En 1946, Gibson fue reconocido por los negros políticamente astutos como un jugador que podía ayudar a acabar con el racismo institucionalizado en Estados Unidos. Patrocinada por Hubert Eaton y Walter Johnson e inspirada por Sugar Ray Robinson, Gibson pronto dominó todos los eventos del calendario de la ATA. A principios de la década de 1950 estaba dispuesta a soportar la dificultad de romper la barrera del color en el tenis.