今は昔のこと、海辺の阿弥陀寺という寺に、芳一という目の見えぬ一人の琵琶法師が住んでいた。彼の弾く琵琶の腕前といったら見事なもので、とりわけ平家物語の弾き語りにかけては、並ぶ者がないとさえ言われていた。
その寺の周辺は、その昔、源平の戦いで滅び去った平家一門の墓が立ち並ぶ土地でもあった。村人たちの間では、夜な夜なこの辺りに亡霊が出るとの噂が絶えなかったが、芳一にはそのような怪異など縁のないことに思えていた。
ある夏の蒸し暑い夜のことであった。和尚が法事のため留守にしており、芳一は一人縁側に腰かけて琵琶の調子を整えていた。すると、庭先で鎧のこすれるような足音が止まり、低くよく通る男の声が「芳一殿、芳一殿はおられるか」と呼びかけた。
武士の口ぶりからすると相当に身分の高い者らしかった。「我が主君はかねてよりあなたの琵琶の評判を聞き及び、今宵ぜひお屋敷で一曲所望したいとの仰せである。お供願いたい」と告げられ、芳一はためらいながらも、断りきれず武士の手にすがって夜の闇の中へ出かけていった。
案内された屋敷の門は重々しく軋み、奥からは絹ずれの音や、女房たちの低い話し声が聞こえてきた。芳一が広間に通されると、目こそ見えぬものの、そこには数え切れぬほどの人々が集まっている気配が伝わってきた。
「ぜひ壇ノ浦の戦いの段をお聴かせいただきたい」との所望に応じて、芳一は息を整えてから琵琶の絃を爪弾き始めた。やがて曲が安徳天皇の入水の場面に差し掛かるや、聴衆の中からあちこちですすり泣きが起こり、ついには激しい慟哭へと変わっていった。
演奏が終わると、主君らしき者から「実に見事であった。ただし、この一件はくれぐれも他言無用に願いたい。また六日の間、毎夜お通いいただきたい」と固く口止めをされた。
芳一は不審に思いつつも、約束を破るどころではない剣幕に圧されて、毎晩一人で寺を抜け出すようになった。