W 1787 był delegatem Wirginii do Zgromadzenia Konstytucyjnego. Madison odegrał jedną z czołowych do wnętrza pracach ponad tworzeniem Konstytucji Stanów Zjednoczonych. W trakcie 86 dni trwania Zgromadzenia zabierał opinia do wnętrza 71 dniach. Choć nie był dobrym mówcą plus oratorem, potrafił perswadować również rozumować osobisty paragraf widzenia. Pokazał się w charakterze smukły mediator, znajdując kompromisowe rozwiązania zadowalające sprzeczne transakcje różnych stanów. Z tego też powodu w wielu przypadkach nazywa się go ojcem konstytucji amerykańskiej.
Madison opracował też własny szyk stenografowania. W trakcie posiedzeń Zgromadzenia Konstytucyjnego robił notatki, oraz potem – do wnętrza nocy – nadawał im formę tekstu. Dzięki jego zapiskom, znany jest określony bieg prac ponad treścią konstytucji – uprzedni to ponieważ jedyne zapiski z tych obrad. Po śmierci Madisona, jego żona Dolley sprzedała te notatki rządowi federalnemu zbytnio 25 tysięcy dolarów, za sprawą czemu wskroś nieco lat zapewniła sobie utrzymanie.