Hartlepool UnitedEdit
Nacido en Cramlington, Northumberland, Brown se incorporó a la cantera del Hartlepool procedente del Cramlington Juniors football Club. Se incorporó demasiado tarde para pasar por el sistema de becas para jóvenes y posteriormente se le ofreció un contrato temporal. Formó parte del exitoso equipo sub-19 de Hartlepool que ganó la Copa Dallas XXV en 2004. James Brown fue incluido en el banquillo de suplentes en el partido del Hartlepool contra el Bournemouth en la última jornada de la temporada 2004-05. Se esperaba que participara en la campaña 2005-06 del Hartlepool y participó regularmente durante la pretemporada.
Sin embargo, durante la pretemporada, Brown se rompió el ligamento cruzado contra el Hibernian y se perdió la mayor parte de la temporada posterior. El 6 de mayo de 2006, Brown reapareció y debutó con el club, saliendo del banquillo para marcar en el empate a uno con el Port Vale en Victoria Park. El partido fue agridulce para Brown, ya que el Hartlepool no consiguió la victoria y descendió a la segunda división. El acierto de James le valió su primer contrato profesional con el club en 2006. Durante la campaña 2006-07, jugó casi todos los partidos del Hartlepool en la banda derecha.
En agosto de 2008, Brown firmó un nuevo contrato de larga duración con el Hartlepool. Brown marcó contra el Colchester el 17 de abril de 2010, lo que supuso la victoria del Hartlepool United por 3-1, lo que llevó a Jeff Stelling a revelar su muñeca cantante de James Brown. Brown fue liberado por Hartlepool el 10 de mayo de 2012.
GatesheadEdit
Brown firmó por el equipo de la Conference Premier, Gateshead, el 6 de junio de 2012. Su debut se retrasó debido a que requirió una operación de una doble hernia. Finalmente, debutó con el Gateshead el 6 de octubre de 2012 como sustituto en la segunda parte del partido contra el Hyde (1-1). Tres días después fue titular por primera vez con el Gateshead en un empate 2-2 con el Macclesfield Town. Brown marcó su primer gol con el Gateshead el 22 de febrero de 2013 en el partido de vuelta contra el Macclesfield Town. El 11 de enero de 2014 disputó su partido número 50 con el Gateshead, marcando en la victoria por 2-1 contra el Nuneaton Town. Se retiró del fútbol profesional en noviembre de 2014 debido a una persistente lesión de rodilla. Tras ello, se incorporó al Whitby Town de la Northern Premier League.