Urodził się 16 marca 1751 wewnątrz Port Conway w środku stanie Wirginia wewnątrz rodzinie farmerów-plantatorów. Był najstarszym z dwanaściorga dzieci Jamesa Madisona, Sr (27 marca 1723 – 27 lutego 1801) plus jego żony Eleanor Rose "Nellie" Conway (9 stycznia 1731 – 11 lutego 1829). Wykształcenie podstawowe otrzymał do wnętrza domu. Jako latorośl wiele czasu spędzał na zabawach z dziećmi niewolników, zaś – wprzódy jak pełnoletni – występował przeciwko niewolnictwu. W dzieciństwie słuchał ponadto opowieści o brutalności Indian dodatkowo do końca życia pozostał do nich uprzedzony.
W wieku 11 lat został wysłany do szkół, natomiast w charakterze 18-latek rozpoczął szkoła wyższa na College of New Jersey (obecnie poniżej nazwą Uniwersytetu Princeton). W trakcie studiów pisywał wiersze mające posmak pornografii na rzecz American Whig Society. Dużo czasu spędzał na nauce, wielokrotnie śpiąc jeno po 3 godziny dziennie. Ciężka zlecenie przyniosła rezultaty także uprzednio po trzech latach (1771) ukończył czteroletnie studia. Zamierzał zatrzymać się pastorem, ale z powodu złego stanu zdrowia, przerwał uczelnia podyplomowe także powrócił do rodzinnej posiadłości Montpelier.