その後
廃藩置県など
明治維新の煽りで姫路藩抱えを解かれる。相生は同じ姫路藩抱えの
高見山(のちの高砂)らと他藩に仕えぬ旨誓約したが、これを破り明治4年(
1871年)に
土佐山内家に抱えられ四股名も
山内容堂から授かった「綾瀬川山左エ門」に改めた。この裏切りに高見山は激怒、綾瀬川討ち取りの書状を山内家に送り綾瀬川の居所を襲った。事情を聞いた綾瀬川は相撲会所に逃げ込んで難を免れ、
年寄玉垣や
伊勢ノ海ら実力者の取りなしもあって「今後一生大関を務めない」という証文を綾瀬川が入れたことで落着した。高見山はこの件を忠義の故と評価した姫路藩が再び抱え、四股名も「高砂浦五郎」と改めている。綾瀬川はその年2場所続けて土つかずの好成績を挙げたこともあって高砂が証文を返し、明治5年(
1872年)4月場所から晴れて大関となった。