Hartlepool UnitedEdit
Nascido em Cramlington, Northumberland, Brown juntou-se à estrutura juvenil do Hartlepool a partir do Cramlington Juniors Football Club. Tinha aderido demasiado tarde para passar pelo sistema de Bolsas de Estudo para Jovens e foi-lhe posteriormente oferecido um acordo temporário. Fez parte da equipa de sucesso do Hartlepool com menos de 19 anos que ganhou a XXV Taça Dallas em 2004. James Brown foi incluído no banco de suplentes do jogo do Hartlepool contra o Bournemouth no último dia da época 2004-05. Esperava-se que ele desempenhasse um papel na campanha do Hartlepool de 2005-06 e participou regularmente durante a pré-época.
No entanto, durante a pré-época, Brown rompeu o seu ligamento cruzado contra o Hibernian e falhou a maior parte da época seguinte. Em 6 de Maio de 2006, Brown fez o seu regresso e estreia para o clube, saindo do banco para marcar no empate 1-1 com Port Vale no Victoria Park. O jogo foi agridoce para Brown, uma vez que o fracasso do Hartlepool em ganhar os levou ao rebaixamento para a Liga 2. A finalização de James valeu-lhe o seu primeiro contrato profissional com o clube em 2006. Durante a campanha de 2006-07, ele jogou quase todos os jogos do Hartlepool na ala direita.
Em Agosto de 2008, Brown assinou um novo contrato a longo prazo com o Hartlepool. Brown marcou contra o Colchester a 17 de Abril de 2010, que viu o Hartlepool United ganhar por 3-1, o que mais uma vez levou Jeff Stelling a revelar o seu boneco James Brown a cantar. Brown foi lançado pelo Hartlepool a 10 de Maio de 2012.
GatesheadEdit
Brown assinou para a Conferência Premier side Gateshead a 6 de Junho de 2012. A sua estreia foi adiada devido à necessidade de cirurgia a uma hérnia dupla. Ele acabou por fazer a sua estreia em Gateshead a 6 de Outubro de 2012 como substituto do segundo tempo num empate de 1-1 contra Hyde. Fez a sua primeira estreia para Gateshead três dias depois, num empate 2-2 com Macclesfield Town. Brown marcou o seu primeiro golo para Gateshead a 22 de Fevereiro de 2013, no jogo de regresso contra Macclesfield Town. Fez a sua 50ª aparição para Gateshead a 11 de Janeiro de 2014, marcando numa vitória por 2-1 sobre Nuneaton Town. Reformou-se do futebol profissional em Novembro de 2014, devido a uma lesão persistente no joelho. Depois disso, juntou-se à equipa de Whitby Town da Primeira Divisão da Northern Premier League.