Hartlepool UnitedEdit
Urodzony w Cramlington, Northumberland, Brown dołączył do młodzieżowej drużyny Hartlepool z klubu piłkarskiego Cramlington Juniors. Dołączył zbyt późno, aby przejść przez system stypendiów młodzieżowych, a następnie zaoferowano mu umowę tymczasową. Był częścią udanej drużyny Hartlepool do lat 19, która wygrała Dallas Cup XXV w 2004 roku. James Brown znalazł się na ławce rezerwowych w meczu Hartlepool z Bournemouth w ostatnim dniu sezonu 2004-05. Oczekiwano, że odegra rolę w kampanii Hartlepool 2005-06 i regularnie brał udział w meczach przedsezonowych.
Jednakże w trakcie sezonu przedsezonowego Brown zerwał więzadła krzyżowe w meczu z Hibernian i opuścił większość kolejnego sezonu. 6 maja 2006 roku Brown powrócił i zadebiutował dla klubu, wchodząc z ławki i zdobywając bramkę w zremisowanym 1-1 meczu z Port Vale na Victoria Park. Mecz był słodko-gorzki dla Browna, ponieważ Hartlepool nie wygrało, przez co spadło do League 2. James dzięki swojemu wykończeniu zdobył swój pierwszy profesjonalny kontrakt z klubem w 2006 roku. W kampanii 2006-07 grał prawie we wszystkich meczach Hartlepool na prawym skrzydle.
W sierpniu 2008 roku Brown podpisał nowy długoterminowy kontrakt z Hartlepool. Brown strzelił gola przeciwko Colchester 17 kwietnia 2010 roku, dzięki czemu Hartlepool United wygrał 3-1, co ponownie doprowadziło do tego, że Jeff Stelling ujawnił swoją śpiewającą lalkę Jamesa Browna. Brown został zwolniony przez Hartlepool 10 maja 2012 roku.
GatesheadEdit
Brown podpisał kontrakt z drużyną Conference Premier – Gateshead 6 czerwca 2012 roku. Jego debiut został opóźniony z powodu konieczności przeprowadzenia operacji na podwójną przepuklinę. Ostatecznie zadebiutował w drużynie Gateshead 6 października 2012 roku jako zmiennik w drugiej połowie meczu z Hyde, który zakończył się remisem 1-1. Swój pierwszy występ w barwach Gateshead zaliczył trzy dni później w zremisowanym 2-2 meczu z Macclesfield Town. Brown zdobył swoją pierwszą bramkę dla Gateshead 22 lutego 2013 roku w rewanżowym meczu z Macclesfield Town. Swój 50. występ dla Gateshead zaliczył 11 stycznia 2014 roku, strzelając bramkę w wygranym 2-1 meczu z Nuneaton Town. W listopadzie 2014 roku wycofał się z profesjonalnego futbolu z powodu uporczywej kontuzji kolana. Po tym, dołączył do Northern Premier League Premier Division side Whitby Town.