鯨墓は、高さ2.4メートル、幅0.46メートルの花崗岩の石塔です。正面には「業尽有情雖放不生」「故宿人天同証佛果」「南無阿弥陀仏」と陰刻され、側面には「元禄五年壬申五月 願主 設楽孫兵衛・池永藤右衛門早川源右衛門」と刻まれています。「鯨１頭取れれば7浦が賑わう」と言われるほど鯨の価値は高く、鯨組の漁師たちは命がけで鯨に向かっていきました。しかし、解体された母鯨の胎内で死亡した子鯨を見たとき、さすがの漁師も哀れみを感じ、墓を建立し経を唱えて丁重に葬りました。その位牌と鯨鯢過去帳も向岸寺に残されています。鯨に対する先人の感謝と思いやりの心は、捕鯨が廃れて一世紀が過ぎた現在でも、地域住民により毎年執り行われる伝統的な回向に引き継がれています。墓の背後の空き地には70数体の鯨の胎児が埋葬されており、鯨墓は、昭和10年に国の史跡に指定されました。