今は昔のこと、海辺の阿弥陀寺という寺に、芳一という目の見えぬ一人の琵琶法師が住んでいた。彼の弾く琵琶の腕前といったら見事なもので、とりわけ平家物語の弾き語りにかけては、並ぶ者がないとさえ言われていた。
その寺の周辺は、その昔、源平の戦いで滅び去った平家一門の墓が立ち並ぶ土地でもあった。村人たちの間では、夜な夜なこの辺りに亡霊が出るとの噂が絶えなかったが、芳一にはそのような怪異など縁のないことに思えていた。
ある夏の蒸し暑い夜のことであった。和尚が法事のため留守にしており、芳一は一人縁側に腰かけて琵琶の調子を整えていた。すると、庭先で鎧のこすれるような足音が止まり、低くよく通る男の声が「芳一殿、芳一殿はおられるか」と呼びかけた。
武士の口ぶりからすると相当に身分の高い者らしかった。「我が主君はかねてよりあなたの琵琶の評判を聞き及び、今宵ぜひお屋敷で一曲所望したいとの仰せである。お供願いたい」と告げられ、芳一はためらいながらも、断りきれず武士の手にすがって夜の闇の中へ出かけていった。
案内された屋敷の門は重々しく軋み、奥からは絹ずれの音や、女房たちの低い話し声が聞こえてきた。芳一が広間に通されると、目こそ見えぬものの、そこには数え切れぬほどの人々が集まっている気配が伝わってきた。
「ぜひ壇ノ浦の戦いの段をお聴かせいただきたい」との所望に応じて、芳一は息を整えてから琵琶の絃を爪弾き始めた。やがて曲が安徳天皇の入水の場面に差し掛かるや、聴衆の中からあちこちですすり泣きが起こり、ついには激しい慟哭へと変わっていった。
演奏が終わると、主君らしき者から「実に見事であった。ただし、この一件はくれぐれも他言無用に願いたい。また六日の間、毎夜お通いいただきたい」と固く口止めをされた。
芳一は不審に思いつつも、約束を破るどころではない剣幕に圧されて、毎晩一人で寺を抜け出すようになった。
連日の外出に芳一はすっかり疲れ果て、顔色も見るからに悪くなっていった。和尚はその異変に気づき、「これはただごとではあるまい」と、芳一には知らせずに小僧たちに後をつけさせることにした。
その夜、雨の中を提灯を頼りに芳一を追っていった小僧たちは、信じがたい光景を目にした。芳一は、よりにもよって平家一門の墓石の只中に座り込み、ただ一人でひたすら琵琶を奏でていたのである。
知らせを受けた和尚は、芳一が平家の怨霊に取り憑かれていることを察し、青ざめた。「このままでは、お前は遠からず命を奪われかねない」と諭しつつも、和尚は何としても芳一の命だけは救おうと決意した。
和尚はその場で小僧と二人がかりで、芳一の頭から手足の指先に至るまで、般若心経の経文を一字残らず墨書きしていった。
「これで霊の目にはお前の姿は映らぬはずだ。今夜、武士の声がしようとも、決して返事をしてはならぬ。万が一声を出そうものなら、その場で命を奪われるであろう」と、和尚は厳しく念を押した。
その夜、はたして武士の霊は再び寺へとやってきた。「芳一、芳一はおらぬか」と低く呼びかける声が縁側に響き、芳一は身じろぎひとつせず、息を殺してその場に座り続けた。
経文の力によって、芳一の身体は霊の目には全く映らなかった。しかし、肝心な両耳にだけは、和尚も小僧も経文を書き入れるのを忘れていたのである。霊にはその二つの耳だけが、宙に浮かぶ白い肉片のように見えていた。
「返事がない以上、せめてこの耳だけでも証として持ち帰るほかあるまい」と、霊はそう呟くなり、芳一の両耳を力任せに引きちぎってしまった。芳一は焼けつくような激痛に襲われたが、和尚の言いつけを守って、最後まで一言も声を漏らさなかった。
翌朝、血まみれになって倒れている芳一を見つけた和尚は、自分の手落ちを深く悔やんで詫びた。「両耳を失わせるとは、和尚としてあるまじき過ちであった。許してくれ」と、涙ながらに繰り返した。
それからほどなく、武士の霊が寺に姿を現すこともなくなり、芳一は晴れて怨霊の呪縛から解き放たれた。この出来事は瞬く間に語り伝えられ、芳一は「耳なし芳一」の名で日本中に知れ渡るようになった。
彼の琵琶を一度でも聴きたいという者が後を絶たず、身分の高い人々までもがはるばる訪ねてくるようになったという。両耳を失ったかわりに名を得たとは、まさに数奇な巡り合わせにほかならなかった。