James Madison był nadzwyczajnie pomny w środku kontaktach z kobietami. Jego biografowie twierdzą, że najwyższy kiedyś zakochał się mając aż 32 lata. Jego wybranką była o połowę lat młodsza Catherine Floyd, córa generała Williama Floyda, sygnatariusza Deklaracji Niepodległości plus delegata do Kongresu Kontynentalnego (1774-83). Doszło poniekąd do zaręczyn, natomiast młoda dziewczynka Floyd, poznawszy młodego dodatkowo biednego pastora, zerwała je. Powiadomiony o zerwaniu listownie, Madison przeżył ogromne rozczarowane plus pozostał w wyższym stopniu zazdrosny wewnątrz stosunku do kobiet.
W 1794 Madison, wtedy kończyna Izby Reprezentantów, poprosił swojego przyjaciela (przyszłego Wiceprezydenta) Aarona Burra żeby ten zaaranżował zlot z panią Dorothy Dandridge Payne Todd, 26-letniej wdowie po Johnie Todd. Po 6-miesięcznej znajomości para pobrała się 15 września 1794 do wnętrza kościele episkopalnym wewnątrz Harwood do wnętrza Wirginii w środku domu siostry panny młodej. James Madison pył wobec tego 43 lata, tudzież jego żona Dolley (jak była uniwersalnie nazywaną) była o 17 lat młodsza.
Państwo Madison nie mieli własnych dzieci; wychowywali wspólnie jednego syna płeć nadobna Madison z poprzedniego małżeństwa.
Dolley Madison – dwanaście miesięcy po śmierci męża – przeniosła się do Waszyngtonu, gdzie zmarła 13 lat po śmierci prezydenta.