Hartlepool UnitedEdit
Der in Cramlington, Northumberland geborene Brown kam vom Cramlington Juniors Football Club zu Hartlepools Jugendabteilung. Er kam zu spät, um das Jugendstipendiensystem zu durchlaufen, und bekam daraufhin einen befristeten Vertrag angeboten. Er war Teil der erfolgreichen Hartlepooler U19-Mannschaft, die 2004 den Dallas Cup XXV gewann. Am letzten Spieltag der Saison 2004/05 saß James Brown bei Hartlepools Spiel gegen Bournemouth auf der Auswechselbank. Es wurde erwartet, dass er in Hartlepools Saison 2005-06 eine Rolle spielen würde und nahm während der Vorsaison regelmäßig teil.
Doch während der Vorsaison riss sich Brown gegen Hibernian das Kreuzband und verpasste den Großteil der folgenden Saison. Am 6. Mai 2006 gab Brown sein Comeback und Debüt für den Verein. Er kam von der Bank und erzielte beim 1:1-Unentschieden gegen Port Vale im Victoria Park ein Tor. Das Spiel hatte für Brown einen bitteren Beigeschmack, da Hartlepool durch den Nicht-Sieg in die League 2 absteigen musste. James‘ Abschluss brachte ihm 2006 seinen ersten Profivertrag mit dem Verein ein. In der Saison 2006/07 bestritt er fast alle Spiele von Hartlepool auf dem rechten Flügel.
Im August 2008 unterschrieb Brown einen neuen langfristigen Vertrag bei Hartlepool. Am 17. April 2010 erzielte Brown beim 3:1-Sieg von Hartlepool United gegen Colchester ein Tor, was wiederum dazu führte, dass Jeff Stelling seine James Brown-Singpuppe enthüllte. Brown wurde am 10. Mai 2012 von Hartlepool entlassen.
GatesheadEdit
Brown unterschrieb am 6. Juni 2012 beim Conference Premier Verein Gateshead. Sein Debüt verzögerte sich, da er wegen eines doppelten Leistenbruchs operiert werden musste. Sein Debüt für Gateshead gab er schließlich am 6. Oktober 2012 als Einwechselspieler in der zweiten Halbzeit beim 1:1-Unentschieden gegen Hyde. Drei Tage später kam er beim 2:2-Unentschieden gegen Macclesfield Town zu seinem ersten Einsatz für Gateshead. Sein erstes Tor für Gateshead erzielte Brown am 22. Februar 2013 im Rückspiel gegen Macclesfield Town. Am 11. Januar 2014 machte er sein 50. Spiel für Gateshead und erzielte ein Tor beim 2:1-Sieg gegen Nuneaton Town. Im November 2014 zog er sich aufgrund einer hartnäckigen Knieverletzung aus dem Profifußball zurück. Danach schloss er sich dem Verein Whitby Town aus der Northern Premier League Premier Division an.