James Paget werd op 11 januari 1814 geboren in Great Yarmouth, Groot Brittannië, als achtste kind in een gezin met 16 kinderen. Vanwege het faillissement van zijn vader kon hij niet op een prestigieus college geplaatst worden, of later studeren aan een prestigieuze universiteit. Paget heeft dan ook geen Grieks en Latijn kunnen leren op school. Dat belette hem niet om uiteindelijk naast de Engelse taal ook het Frans, Duits, Italiaans en Nederlands (!) te leren beheersen. Hij werd op zijn 16de assistent bij een arts en besteedde in die tijd veel aandacht aan plantkunde. Samen met een broer publiceerde