James Madison mierzył jeno 170 cm także jest – jako dopóty – najniższym z wszystkich amerykańskich prezydentów. Kontrastowało to z Thomasem Jeffersonem, poprzednikiem na fotelu prezydenta, który mierzył niezupełnie 20 cm więcej. Madison proszek podobnie szczupłą sylwetkę, ważył wobec 100 funtów (50 kg). Pomimo wielu przebytych chorób dożył aż 85 lat, co jest rzadkim osiągnięciem wśród prezydentów USA. Madisona nazywano uszczypliwie "Małym Jemmy" (Little Jemmy) innymi słowy Master Jemmy. Wzrok przykuwała też jego łysina.