胡雪岩是個風流成性的尋花老手，他常自謂:"一不做官，二不圖名，但只為利，娶妻納妻，風流一世，此生足矣!"因此，對於合其心意的女子，他一般不會輕易放過。當然，作為一名成功商人，胡雪岩在情場不忘商場。他在創業期間所遇到的女人，幾乎都是為他的事業服務的:有的成為被他所用的 "犧牲品";有的非常幸運地被他收為小妄，但納其為妻的先決條件是此女子必須有益於他將來事業的開拓。從某種意義上來說，胡雪岩能夠成長為一代 "紅頂商人"，這些具有 "幫夫命"的小妾們起到了極大的作用。
在創業初期，胡雪岩偶遇因父親入獄被賣入"梨花春"的官宦人家千金小姐芸香，並被其美貌所吸引，但胡深知以當時自己的身份，無福消受美人。他在萬般懊惱之時，靈機一動，把芸香做順水人情送給了自己的靠山王有齡巡撫。這樣做，胡雪岩雖然失去了芸香，但卻得到了王有齡的器重，得到了芸香這個忠心的眼線，從此掌握了王巡撫的行蹤，在某種意義上可以說是控制了王有齡，使其為胡所用。這樁交易做得無懈可擊，芸香成了胡走向成功的第一個籌碼。
俗話說:"捨不得孩子套不住狼。"在商言商，為了自己的長遠利益。胡雪岩一次次忍痛割愛，把自己的所愛像商品一樣 "一件件"送給了別人。為了傍上江蘇省學政何桂清這棵大樹，他又將自己的愛妾 "阿巧姐"作為又一件禮物送給了何。雖然胡雪岩一再強調感情與生意應該截然分開，二者不可以混淆，但他與陽琪的結合，卻更看重了感情對生意的促進作用。與陽琪成親後，陽琪立刻成了胡的左右手，令胡如虎添翼，有力地促進了胡雪岩事業的進一步發展。只可惜，陽琪過早地逝世了。這多少留給胡雪岩一些遺憾。但不久，胡雪岩就遇到了另一位與陽琪極其相似，極具商業頭腦的姑娘。她就是胡雪岩身邊最重要的一位女子，陪伴胡雪岩走完人生的翠環姑娘，即當時小有名氣的「羅四太太」。胡雪岩雖然已成為紅極一時的商人，但家中妻子肚中無貨，上不得台面，這一直是胡雪岩心中的一大遺憾，以至胡雪岩常嘆知音難求，心中十分孤獨。翠環的出現，令胡雪岩眼前一亮。憑惜其敏銳的眼光，胡雪岩認為翠環即是上得廳堂、入得內室，自己尋覓已久的賢內助、紅顏知己。於是胡雪岩打定主意要贏得翠環姑娘的青睞，非娶她為妻不可。後經過努力，以 "兩頭大"的形式，娶翠環力妻。翠壞果然精明能幹，很快成為胡的左膀右臂。她的心思又極其細密，很會迎合丈夫的心意，為胡雪岩連娶十二房姨太太，使胡雪岩感激不盡。作為回報，胡雪岩將其扶正，使其登堂人室，成為胡府的 "掌印夫人"。
胡雪岩娶的這十二位姨太太個個正值花季，美若天仙，號稱 "東樓十二釵"。胡雪岩對這十二位姨太太其寵愛，在她們身上揮霍掉大量的金錢。他為這些姨太太建造了休憩場所——嬌樓，使姬妾分室而居，而他則像皇帝一樣，每晚隨手拈牌招姬妾入寢，生活極其奢靡。單是嬌樓，就極其奢華，耗資數萬。該樓金碧輝煌，四周風景秀麗，又以人工西湖，蓬萊仙閣"等景點巧妙地點綴，更是令觀者目不暇接、心曠神怡。自此，胡雪岩便整日泡在嬌樓之中，沉溺於溫柔女兒鄉。正如汪康年在《莊諧選錄》中所寫:"杭人胡某，富坷封君，為近今數十年所罕見。而荒淫奢侈，跡迥尋常所有，後卒以是致敗。"胡雪岩荒淫而奢靡的生活習性，與他最終的失敗有著密切的關係。胡雪岩破產後，先前那些為其錢財嫁人胡家的美妾們，一改往日爭先恐後己結胡氏的嘴臉，溫情頓失，紛紛要求攜帶自己的私房錢離開;留在胡氏身邊的，只有羅四太太。在羅四太太的陪伴下，靠著胡慶余堂的微薄收人，胡雪岩淒涼地度過了他的晚年，於道光十一年 (公元1831年)，黯然離世。
