東京教育大学では
久保田正躬と学生寮で相部屋だった
。同大学1年の時に高校教師だった父親を亡くす
。同大学3年の時に
ヘルシンキオリンピックに出場し
跳馬で体操競技では日本初となる銅メダルを獲得。
メルボルンオリンピックの
鉄棒でひねり飛び越しを成功させ体操競技で日本人最初の金メダリストとなった
。
ローマオリンピックでは初の団体総合優勝に貢献、鉄棒で連覇のほかに跳馬でも金メダルを獲得し、日本の男子体操黄金時代の礎を築いた。一方、個人総合ではメルボルン大会は
平行棒、
ゆかの着地で失敗し
ヴィクトル・チュカリンに、ローマ大会は
ボリス・シャハリンと、いずれも
ソビエト連邦の選手に0.05点の僅差で敗れ、金メダルに手が届かなかった(日本選手の個人総合優勝は、東京大会で秋田県出身の後輩・
遠藤幸雄が実現することになる
[小野は遠藤の快挙をたたえて個人的にトロフィーを贈っている。])。
小野は日本のオリンピック選手としては初めて夏季大会に4大会連続で代表に選ばれて出場した選手である。出場したすべての大会でメダルを獲得しており、夏季大会4大会連続メダルは
谷亮子が更新するまでは日本人最多であった(男子では2008年現在も最多)。また、獲得したメダルの総数13個は、
加藤沢男(日本人最多金メダリスト)らを抑えて2008年現在も日本人最多となっている。一時期、
学校法人二階堂学園の常務理事を務めた
。1998年に
国際体操殿堂入り。現在は
日本スポーツクラブ協会名誉顧問、日本
マレットゴルフ協会会長。
妻の
小野清子とは1952年の国民体育大会で知り合った。清子にオリンピック出場できる素質を感じた彼は指導をするうちに恋が芽生え
、2人は1958年に結婚しており、ローマオリンピック、東京オリンピックで夫婦共に日本代表として出場、東京オリンピックでは夫婦揃ってメダリストとなった。2人の間には息子2人、娘3人が生まれた
。