広島の野球無名校、
大竹高校時代は投手。この頃から機敏で俊足、マウンドから走り二塁走者を刺した、という逸話を残す。
1954年、
南海ホークスにテスト生の
投手として入団。背番号
57のち
12。1年目の
キャンプで肘を痛めて
遊撃手に転向。
1957年から1軍に定着し、初打席から7打席連続安打を放ち114試合出場、打率.284。
1958年は遊撃手オンリーで119試合に出場し、先輩・
木塚忠助の後継者として期待された。しかし無類の
鉄砲肩ながら悪送球が多く
1961年、
鶴岡一人監督の勧めで
外野手(
中堅手)に転向した。なお1試合だけ投手として公式戦の登板があるのは、現役晩年の消化試合で投げたもの。
ダイヤモンド一周/13秒9、100メートル/11秒4の俊足と好守で鳴らし、プロ野球のスピード感を変えた男、ともいわれた。この年42
盗塁で盗塁王に輝くと
1965年まで5年連続盗塁王となり、リードオフマンとして
杉浦忠、
野村克也、
皆川睦雄らと南海の黄金時代に大きく貢献した。
1963年(この年と翌
1964年の2年間の
パ・リーグは150試合制)には187安打を放ち、
最多安打。これは
1994年に
イチローに抜かれるまで31年にわたってパ・リーグ記録だった。この年の676
打席はパ・リーグ記録(2005年に
赤星憲広に抜かれるまで日本記録)、626
打数は日本記録。
1964年には89試合目まで
打率4割をキープ(1989年に
ウォーレン・クロマティに抜かれるまでプロ野球最長記録)、後半調子を落としたが打率.366、72盗塁という自己最高の成績で
首位打者と盗塁王を獲得。この.366という高打率も
1985年に
落合博満に抜かれるまで長らく右打者の歴代最高打率だった。「打者が2ストライクに追い込まれたら走らない」等、有用な場面でのみ盗塁を仕掛ける職人肌の選手で高い盗塁技術を誇り、1964年3月から5月にかけて
31連続盗塁成功と、
1968年にシーズン
盗塁成功率.957 (成功44、失敗2)といういずれも日本記録を持つ。1塁から3メートル75という並外れたリードを取り、スタートするやスピードを殺さず2塁ベースの手前まで全力で走り、短いスライディングで二塁を陥れた。
1964年のシーズンに4割近い打率を挙げ、さらにあまりにも広瀬が走るので、盗塁王をこの年から連盟表彰にした。それまで日本では盗塁はあまり評価されていなかった。盗塁を認知させた最初の選手である。「本当に必要なときにしか盗塁しない」という信念が質の高い記録を残す結果になったが、もっと貪欲に走っていれば盗塁数を上積みでき、通算最多盗塁記録を現役最後の年に目の前で
福本豊に更新されるという事態を招かなかったのではないかという向きもある
[宇佐美徹也『プロ野球記録大鑑』講談社、1993年 P697,699]。なお
松下電器時代の監督に「お前はノンプロの広瀬になれ」と言われ、背番号12を付け広瀬をよく見に行ったという福本は、「広瀬さんは神様やもん。プロに入ってからもそれは一緒よ。相変わらず雲の上の存在やった」と述べている
[『別冊宝島』1517号「プロ野球情念の天敵対決」2008年 宝島社 p87-p88]。