Po zakończeniu drugiej kadencji Madison osiadł do wnętrza Montpelier wewnątrz Wirginii. Tam też oddał się czytaniu książek oraz rozmowom z gośćmi, którzy w dużych ilościach odwiedzali posiadłość byłego prezydenta.
James Madison najchętniej czytał traktaty na rzecz władzy, książki historyczne plus dotyczące wynalazków plus odkryć. Co ciekawe, podczas gdy Jefferson był ambasadorem we Francji, Madison prosił go od chwili czasu do czasu o zakup rzadkich plus cennych książek. W liście z 27 kwietnia 1785 pisał do swojego przyjaciela: Otrzymałem dwoje książki na zagadnienie magnetyzmu zwierzęcego, na zagadnienie ostatniej ekspedycji aeronautycznej jak jeden mąż zapałkami fosforowymi. Były to na rzecz mnie wspaniałe plus ciekawe dary. Madison proszek pokaźną bibliotekę, którą zapisał do wnętrza darze Uniwersytetowi Wirginia, której był rektorem od momentu 1826. Książki te, niestety, karny zniszczeniu w środku pożarze uczelni do wnętrza 1895.
Kiedy wewnątrz 4 lipca 1826 zmarli John Adams plus Thomas Jefferson, Madison został najstarszym z żyjących prezydentów amerykańskich.
W 1829 został wybrany na delegata do Zgromadzenia Konstytucyjnego Wirginii.
Pod mat życia stawał się jeszcze słabszy fizycznie (dokuczał mu przede wszystkim reumatyzm). Jego pieniądze też zmniejszały się. Kiedy żona Madisona – pozycja wiedzą prezydenta – dała swojemu synowi-hazardziście 40 tysięcy dolarów, nadszarpnęło to ich budżetem. Kiedy Madison zwrócił się do Banku Stanów Zjednoczonych o pożyczkę – spotkał się z odmową. Z pomocą przybył prezydent Andrew Jackson, który zakupił zbyt 30 tysięcy wymiary rękopisów Madisona z obrad Zgromadzenia Konstytucyjnego.
Zmarł 28 czerwca 1836 wewnątrz rodzinnej posiadłości Montpelier do wnętrza Orange wewnątrz stanie Wirginia, jak świeżo miniony z sygnatariuszy Konstytucji USA. Przeżył 85 lat plus 104 dni.
James Madison zmarł jak świeżo miniony z sygnatariuszy Konstytucji USA, członków Kongresu Kontynentalnego i sygnatariuszy Zgromadzenia Konstytucyjnego Wirginii z 1776. O swym dokonaniu żartował: Przeżyłem tylu współczesnych, że muszę uważać, ażeby nie pomyśleć, że mogę zaznać samego siebie.