1979年,26岁的胡因梦,与44岁的李敖首次见面,男方即展开热烈追求。李敖曾大讚胡因梦「又漂亮又漂泊,又迷人又迷茫,又伤感又性感,又不可理解又不可理喻。」
李敖为了胡因梦而向女友刘会云分手,更以金钱补偿。胡因梦母亲还宣称:「全台湾配得上我女儿的就只有李敖一人!」
两人很快就踏入同居试婚阶段,但婚后发现性格不合,1980年8月2日离婚。李敖曾解释:「她是国民党演员,国民党说你怎么可以跟这个叛乱分子勾肩搭背呢?国民党就打击她,不许她演电影跟主持金马奖,一在家她就跟我吵架,我哪受得了!」
胡因梦驳斥谓两人离婚是因个性不合,且李敖因涉財產侵佔官司,胡因梦出庭做证,最后李敖败诉入狱半年,两人反目成仇。
李敖现任妻子王小屯是他生命中最重要的一位女人,鲜少曝光,出身军人世家的她,父母是河北人,李敖曾称她是纯种河北人,有传统、保守、敦厚、耿直的个性。当年她在巴士站牌前看李敖的书,李敖恰巧经过,惊为天人,尤其是看到她修长的美腿,於是写一首情诗《忘了我是谁》送给她。
王小屯原名王志慧,「小屯」是她和李敖初识到故宫博物院看展览,李敖看到一只可爱的小猪,替她起的小名。两人一开始相恋曾遭她父母反对,她父母认为李敖大女儿近30岁又不安分,最后她撂狠话:「如果不嫁给李敖,我就一辈子不嫁!」她父母才点头。1992年3月8日李敖和王小屯结婚,两人婚后至今相濡以沫。