十兵衛が右目の視力を失った経緯は最大の謎の一つである。最も有名な説は、幼少期に父・宗矩との剣術稽古中に木刀で右目を打たれたというもの。他にも鷹狩りの際に鷹の爪で傷つけられた説、幼少時の病気による説、さらには生まれつきの隻眼であったとする説もある。いずれの説にも確証はなく、十兵衛自身も理由を語った記録は残っていない。後世のフィクションでは眼帯をした剣豪として描かれることが多いが、実際に眼帯をしていたかどうかも定かではない。
1631年から1643年までの12年間、十兵衛は公式記録から完全に姿を消した。将軍家光に近侍していた若き剣豪が突然消えた理由について、江戸時代から現代まで様々な説が唱えられてきた。幕府の隠密として諸国の情勢を探っていたとする「公儀隠密説」、各地の剣客と試合を重ねていたとする「武者修行説」、父・宗矩との意見の相違で謹慎させられたとする「蟄居説」などがある。この空白期間が後世の作家たちの想像力を刺激し、忍者として活躍する十兵衛、諸国漫遊する十兵衛など無数の物語が生み出された。
1650年（慶安3年）3月、十兵衛は鷹狩りの最中に突然倒れ、そのまま帰らぬ人となった。享年44歳。その急死の原因も諸説あり、脳卒中などの病死説、何者かによる暗殺説、持病が急変したとする説などがある。武芸の達人がなぜ突然命を落としたのか、その最期もまた謎に包まれている。奈良県柳生の里にある芳徳寺に墓所があり、現在も十兵衛ゆかりの地として多くの剣術愛好家が訪れている。