その昔、絶世の美女「楊貴妃」が難を逃れて小舟に乗り、この地に漂着したという伝説があります。境内には「楊貴妃の墓」と伝えられる五輪塔(県指定文化財)と、その菩提を弔うために安置された国指定重要文化財本尊二尊仏(阿弥陀如来立像・釈迦如来立像)がお祀りされています。女人守護をはじめ安産・子宝・縁結びの霊験あらたかで、ご利益を授かろうと参拝客が絶えません。所願成就も評判で、希望すれば住職が本堂で祈祷をしてくれます。願いが叶うと言われる二尊院限定の楊貴妃絵馬も人気です。3月には80本の梅林、4月には楊貴妃桜が見頃となり、観光客でにぎわいます。境内から見える油谷湾は、特に夕日が美しく、写真家やツーリング、デートコースの人気スポットとなっています。売店には、名物の楊貴妃せんべいや、この地一帯で漁師が引き揚げ、地元で天日干しされたちりめんやいりこなどが特産品として並んでおり、お土産として喜ばれています。