香木伝来の伝説が伝わる神社。
香木が初めて登場するのは日本書紀。推古天皇3年(595年)夏4月、沈水淡路島に漂えり・・・と記されています。推古天皇の時代に、この海岸に流れ着いた木片を何気なく住民が燃やしたところ、芳しい香りが漂ったので、慌てて火の中から引き上げ皇室に献上したと言われています。法隆寺の観音像はこの香木から彫り出されたものだと伝えられています。
香木(沈香木)は今も大切に、枯木神社のご神体として祀られています。