1612年4月13日の朝、下関沖の船島で行われた決闘は日本史上最も有名な一騎打ちである。武蔵は約束の刻限に大幅に遅れて現れた。この遅参は小次郎の心を乱すための計略であったとされる。案の定、待たされた小次郎は苛立ち、武蔵が舟から降り立つと即座に刀を抜き、鞘を海に投げ捨てた。武蔵はこれを見て「小次郎、敗れたり。勝つ者がどうして鞘を捨てるのか」と叫んだという。小次郎が得意の燕返しを繰り出そうとした瞬間、武蔵は舟の櫂から削り出した長大な木刀で小次郎の頭を打ち据えた。なお、決闘の詳細は後世の脚色が多く、実際の経緯は不明な点が多い。小次郎の年齢も18歳説から70歳超説まであり、謎に包まれている。