万治元年(
1658年)4月、
出羽米沢藩主
上杉綱勝の妹・
三姫(後の富子)と結婚。この婚儀は美男子であった義央を、富子が見初めたとの逸話もあるが、確実な資料からは見出せない。『上杉年譜』は「万治元年3月5日、柳営において老中
酒井忠清・
松平信綱・
阿部忠秋列座のなか、
保科正之から三姫を吉良上野介へ嫁がせるべき旨を命じられたことを千坂兵部が(綱勝に)言上した」と幕命による婚儀と記している。また、吉良氏が古くからの婚姻関係によって
扇谷上杉氏の血を引いており、二男四女(長男
吉良三之助、次男
吉良三郎、長女鶴姫、次女振姫、三女阿久利姫、四女菊姫)に恵まれた(ただし次男・三郎と次女・振姫は夭折)。