【木の丸殿】斉明天皇の行宮、木の丸殿の桂の池で、先日管弦の宴が開かれた。その時庭掃きの老人が、女御の姿を垣間見て恋に落ちてしまった。女御はそれを聞いて不憫に思い「池のほとりの桂の木に鼓を掛けてその老人に打たせ、その音が皇居まで聞こえれば、また姿を見せる」と言った。臣下(ワキ)は、従者(間狂言)を通じて老人(前シテ)を呼び出し、女御の言葉を伝えて鼓を打つよう命じる。
　 老人は「月のようなお姿を見るのが待ち遠しい。鼓が鳴れば、恋に乱れた心も静まるだろう。夕暮れの鐘も音を添えるだろうか」と、箒を捨てて鼓のそばに座り、恋情を語る。

【恋の思い】死が近いことにも気づかず、老いの悩みに恋慕の思いも加わり、紅涙が粗末な衣に色を添える。恋に乱れ、忘れようと思う心が余計に物思いをさせる。ひと目見た時から面影が消えず、厚かましくも、いつか望みを叶えたいと無理な願いをかけ、闇の恋路に迷うのだろうか。

【鼓を打つ】老人は、精魂を込めて鼓を一打ちする。しかし鼓は鳴らず、葉からこぼれる夕露の音しかしない。また打って耳を澄ますが、庭の流水の響きが聞こえるだけだ。涙ながらにふり仰いで、御殿の窓の内に御衣の裾だけでも見えないかと期待し、続けて打ちに打ち、聞きに聞いたが、風交じりの雨が降り出して「夜の虫は鳴き立てるのに、この鼓はなぜ鳴らぬ。おかしな鼓だ、どうして音が出ないのだ」と、座り込んで号泣する。

【老人の憤死】臣下は従者を呼んで「あの鼓は綾布を張った鼓なので、いくら打っても鳴りはしない。あきらめるよう伝えよ」と命じる。事実を知った老人は「恨めしい。望みをかけたかいも無く、真心の無い人に騙され惑わされた、自身の卑しさも恥ずかしい。時の移るのも悔しい、明け暮れ思い知らせよう」と言うより早く、全身を震わせ顔色を変え、凄まじい悪鬼の形相に変わる。岸辺に下ると、みるみる池が波立って、底知れぬ水中に入ってしまった。〈中入〉

【女御の乱心】臣下は女御に「老人が鼓の鳴らないのを恨み、池に身投げしました。その執心も恐ろしいので、お忍びでおいでになってご覧ください」と頼む。鼓に近寄った女御は、突然興奮して「あの波の打つ音が、鼓の声に似ている。ああ、面白い鼓の声」と、正気を失った様子になり「正気でないのも当然、鳴るはずのない綾の鼓を打てと言ったのが、私の狂気の始まりなのだ」と言う。

【怨霊の呵責】夕波の騒ぐ池の面に声がして、老人の怨霊(後シテ)が現れる。
「波のようにまた立ち返る恋の淵。奈落に沈む邪淫の苦しみに叫んで浮き沈みする、執心の魔境から来て打つ笞の撥に、綾の鼓は鳴らなくても、恨みの鼓が、非情な人の胸に響いて轟き渡る。偽りの綾の鼓が鳴るものか、打ってみろ」

 怨霊は、女御を鼓の前に引き据え「打て打て」と笞を振り上げ責め立てる。因果は巡り、女御は池の周りをあちこち逃げ隠れし「ああ悲しい、恐ろしい」と裳裾を乱し、力尽き、岸辺に倒れて泣く。その姿は月に照らされ、かつて見た面影よりも美しい。怨霊は女御を見つめ「鼓など打ち捨てよ、女の骨まで朽ちよ」と笞を振り上げ、振り返ると、音も無く消え失せる。