マディスンはヴァージニア州キング・ジョージ郡で生まれた。彼の両親ジェームズ・マディスン・シニア大佐(1723年3月27日 - 1801年2月27日)とエリナー・ローズ「ネリー」コンウェイ(1731年1月9日 - 1829年2月11日)夫妻はヴァージニア州オレンジ郡にタバコ・プランテーションを所有し、ジェームズは幼年期の多くをそこで過ごした。
1769年にジェームズはプランテーションを離れプリンストン大学(当時はニュージャージー大学と呼ばれた)に入学し、四年のコースを二年で修了したが、勉学のためのオーバーワークは彼の健康を害することとなった。健康を回復した後、彼は
トーマス・ジェファーソンの支持者となった。彼はヴァージニア州の信仰自由宣言の署名を手伝い、彼らに北西部領域(現在の
オハイオ州、
ケンタッキー州、
テネシー州から成る)を大陸会議に与えることを説得し、ヴァージニア州の政界における著名人となった。
当時の合衆国は、
ナポレオン戦争に対して中立の姿勢をとっていた。そのため、フランスとの貿易活動も行われた。
1812年、これを咎めたイギリスとの間で
米英戦争が勃発したが、ナポレオンの失脚に伴い戦争自体の意義が失われたこともあり、
1814年末に戦争は終結した。この戦争の間にイギリス製品の流入がとだえたことは、イギリス経済からのアメリカの自立を促すこととなった。