ゲリーはマサチューセッツ州マーブルヘッドで12人兄弟の3番目として生まれた。彼は
ハーバード大学に14歳で入学し、卒業後は父親を手伝い、通商税に対する反対活動で有名になった。彼は1772年5月にマサチューセッツ州の立法議会に反
イギリスの立場から選任された。
彼は1776年2月から1780年まで大陸会議へのマサチューセッツ代表だった。1783年から1785年9月まで再び代表に選ばれた。1787年にはアメリカ憲法制定会議に加わり、新憲法に反対する代表の一人であった。彼は新政府下で下院議員に選任され、1789年から1793年まで同職を務めた。