昔、阿弥陀寺という寺に、芳一という目の見えない琵琶法師が住んでいた。彼の弾く琵琶の腕前といったら見事なもので、特に平家物語の弾き語りにかけては、並ぶ者がないほどであった。ある夏の夜、和尚が不在の折に、寺の庭に足音が響き、身分の高そうな武士が現れた。その武士は「我が主君があなたの琵琶を聴きに来た。お屋敷まで同行していただきたい」と告げた。芳一は断りきれず、武士の案内に従って夜の闇の中へ出かけていくほかなかったのである。
屋敷に到着すると、そこには数え切れないほどの人々が集まっている様子であった。芳一が求められるままに壇ノ浦の戦いを弾き始めると、周りからすすり泣く声が聞こえ始め、曲が終わりに向かうにつれて、激しい慟哭へと変わっていった。六日間連続で毎晩招かれ、芳一はすっかり疲れ果てていた。この異常な外出に気づいた和尚が彼をこっそり後をつけさせたところ、なんと芳一は雨が降る中で、平家の墓石に向かって一人で琵琶を弾いていたのである。
和尚は芳一が平家の怨霊に取り憑かれていることに気づき、大変驚いた。「このままでは、お前は命を奪われかねない」と和尚は忠告し、芳一の体を守るための対策を練った。和尚は芳一の全身から手足の指先に至るまで、般若心経をびっしりと書き写した。そして「今夜武士が迎えに来ても、決して声を出してはならない。音を立てようものなら、すぐに殺されてしまうだろう」と厳しく命じた。
その夜、武士の霊が再び寺にやってきた。しかし、経文の力によって芳一の姿は霊には全く見えなかった。霊が「芳一はどこだ」と探し回っていると、経文を書き忘れていた両耳だけが空中に浮かんで見えた。「返事がない以上、証拠として耳だけを持ち帰るほかない」と、霊は芳一の耳を力任せに引きちぎって去っていった。芳一は激しい痛みに耐えつつも、和尚の言いつけ通り、最後まで決して声を出さなかった。
翌朝、血まみれの芳一を見つけた和尚は、自分の過ちを深く謝罪した。耳を失うという悲惨な出来事の末に、芳一はようやく怨霊の呪縛から解放されたのである。この恐ろしい事件は瞬く間に世間に広まり、芳一は「耳なし芳一」として以前にも増して有名になった。その後、彼の琵琶を聴こうと日本中から身分の高い人々が訪れるようになり、彼は生涯を通じて豊かな暮らしを送ったということだ。