Kiedy w środku 1801 na prezydenta został zaprzysiężony Thomas Jefferson, 2 maja 1801 Madison został Sekretarzem Stanu USA. Urząd ten sprawował do końca drugiej kadencji Jefferesona, tj. do 4 marca 1809.