因桃太郎传说中描述一位小男孩前往此岛与食人魔对抗，因此女木岛也被称为鬼岛或食人魔岛。事实上在岛的最高峰有一个山洞，据说这曾经是食人魔的堡垒。参观者会发现一系列相互联系的细节，其中一些大型食人魔雕像，就是来自桃太郎的故事。

从魔洞步行几步，是山顶公园，可360度俯视濑户内海和周围岛屿。公园种有数以百计的樱桃树，4月上旬是绝棒的赏樱地。在山顶观景台对面矗立着大型日莲雕像，沿着小路是可以走近雕像。

女木岛很具味道的旧木制房屋和狭窄的小巷位于渡轮码头旁，并受到高的石墙保护。每到夏季会吸引不少城市居民来到沙滩畅泳，离码头不远处有多间民宿可供选择。

渡轮码头是岛上比较现代的建筑物，并有一个游客服务台，出租自行车和售卖小吃，里面还设有一个小型的展览角落展示食人魔与桃太郎的故事.