「男左女右」的習俗還和古代人的哲學觀關係非常緊密。在傳統文化的概念裡，宇宙中貫通事物的兩個對立面就是陰陽。自然界的事物有大小、長短、上下、 左右等等。古人將其歸類分為大、長、上、左為陽，小、短、下、右為陰。陽者剛強，陰者柔弱。人的性格，男子剛強屬於陽於左，女子溫柔和屬於陰於右。「男左 女右」在醫學上的取脈中也有差異，中醫診脈，男子取氣分脈於左手，女子取血分脈於右手。
其實，「男左女右」的源自於道家的陰陽學說，陰陽中，向日為陽，背日為陰，後來引申為氣候的寒暖，方位的上下、左右、內外，運動狀態的躁動和寧靜 等。陰陽學說認為，自然界的任何事物都包括著陰和陽相互對立的兩個方面，而對立的雙方又是相互統一的。陰陽的對立統一運動，是自然界一切事物發生、發展、 變化及消亡的根本原因。正如《素問•陰陽應像大論》說"陰陽者，天地之道也，萬物之綱紀，變化之父母，生殺之本始"。
陰和陽，既可以表示相互對立的事物，又可用來分析一個事物內部所存在著的相互對立的兩個方面。一般來說，凡是劇烈運動著的、外向的、上升的、溫熱 的、明亮的，都屬於陽；相對靜止著的、內守的、下降的、寒冷、晦暗的，都屬於陰。以天地而言，天氣輕清為陽，地氣重濁為陰；以水火而言，水性寒而潤下屬 陰，火性熱而炎上屬陽。
陰陽學認為：木、火、土、金、水五行是其基本的變化關係。五行相互資生、相互制約，處於不斷的運動變化之中。這種學說對後來古代哲學有著深遠的影響，如天文學、氣象學、化學、算學、音樂和醫學，都是在陰陽五行學說的協助下發展起來的。
周敦頤的《太極圖說》有一段這樣的描述：「無極而太極。太極動而生陽，動極而靜，靜而生陰，靜極復動。一動一靜，互為其根。分陰分陽，兩儀立焉。」 是故「易有太極，是生兩儀」。「（陰陽）二氣交感，化生萬物。萬物生生，而變化無窮焉。」這就是古代易學家們對陰陽概念最好、最完備的闡述。而「男左女 右」的概念亦為傳統文化陰陽的表現方式。
