殿内主祀的「十八王公」，相传为清康熙廿三年(西元一六八四年)，由唐山渡海来台的十八位先民，当时由于船行至西子湾外海，突遇风暴而沉没，众人侥倖脱险，登岸后，合力在当地垦荒安居。后来十八人不幸遭奸人诬陷，被当时凤山县衙误认为叛匪而遭到集体格杀。附近居民因感念其平日任侠尚义、和睦敦邻却惨遭冤杀，便将其遗体殓葬于寿山洞口山上，併合建祠堂奉祀。后遂由南鲲鯓代天府五府千岁奏请玉皇大帝敕封为「十八王公」。

昭和二年(民国十六年)，日据台湾时，日人开凿西子湾隧道，意外频传，日人向该祠堂祭拜后，才使工程平安顺利完工。日后，日人感念其神灵帮助，募资将小祠堂改建为庙宇，并迁往西子湾海滩，供人膜拜。据传先总统蒋公某次驻西子湾行馆时，散步时，曾行经十八王公庙，在得知其事迹后，属其饱学随从副官查明典籍，命其庙名为「灵兴殿」。

1980年，中山大学复校，该庙适位于校区内，为配合政府政策，「灵兴殿」再度迁建，于1984年9月13日完工于现址。由于「灵兴殿」左邻前英国领事馆，又位在西子湾打鼓山上，不仅可来此祈求平安，还可俯瞰高雄市及高雄港湾观景，因此常有游客来此膜拜。