戊辰戦争に従軍、戦争終了後に
西郷隆盛の紹介で
勝海舟に一ヶ月間弟子入りした。山本は勝に強く感化され、彼の勧めによって海軍の道を歩むこととなった。その後
昌平黌、
開成所、
海軍兵学寮に学んだ。海軍兵学寮では戊辰戦争の弾雨の中をくぐり抜けた気の荒い権兵衛らによって、教官らがしばしばいびられ、時に器物が壊され暴力を受けたとの話も残る。
西南戦争では西郷軍に従軍しようとしたが、西郷自らの説得により兵学寮に戻った。卒業席次は17人中16席。
1877年(
明治10年)に
海軍少尉として任官、翌年には津沢鹿助の三女
登喜子と結婚、その後世界各地を周航した。帰国後、「高雄」・「高千穂」の艦長などを歴任した。
さらに山本が行ったのが、
将官8人、尉佐官89人に及ぶ海軍軍人の予備役編入であり、このリストには
海軍中将・軍令部長の
中牟田倉之助すら入っていた。これは、藩閥出身のために高い階級にあり、かつ正規の近代海軍教育を受けていない海軍
将校は、来たるべき戦争では不用となるとみなした大リストラであり、山本と個人的に親しかった将校も容赦なく整理対象とされた。