傳說真武太子入武當山修煉後，很愛武當的山山水水，絕不肯輕易離山雲遊。他的好友"地藏王菩薩"此時已得安徽九華山為弘揚佛法的道場。一天，菩薩說："我與仙家蕩魔天尊真武大帝，雖教門有別，各有所習，但情誼深厚。況佛、道各蘊精華，甚需常常研習互補。但大帝深藏武當，不履塵俗，怎樣才能使我們時常盤桓，共研佛道，各弘教門?"座下弟子閔讓和是安徽士人，熟悉家鄉的風土人情，便接過話頭應道："菩薩不就是要與真武大帝時常盤桓問難，研討佛道嗎?這有何難。"
於是如此這般地耳語了一番。菩薩高興得連稱"阿彌陀佛"!於是入定遙感，向湖北武當山發出邀請信息。真武大帝本不想應邀，但相別日久，也常思念，便駕起祥雲前往安徽。久別重逢，不免互相寒暄。時近中午，菩薩即往白岳一素麵館化"齋"。食齋之時，真武看一眼麵條說："誰先吃完誰先去游白岳。"這正合地藏王的意思，一口依允。只聽"呼嚕、呼嚕"兩口，真武的一碗麵條已經吃完。地王不動聲色地說："你既已吃完，就先上山遊玩吧，我隨後就到。"真武走上白岳嶺巔，只見山中三十六奇峰、七十二怪岩、二十四秀嶺、十六處洞穴和眾多泉、池、潭、瀑，各具特色。真武大帝正在喜滋滋地評品山中幽雅秀美的景致，地藏王已吃完麵條來到面前。笑道："如何?此山雖不及武當仙山雄偉壯觀，但山中峰巒景致，鬼斧神工，自然而成，競與武當暗合，人稱'江南小武當'。不妨將此作為行官別墅，你我也好常相盤桓，研討佛道玄旨。若能見允，不妨為此山另賜一名以為紀念。"真武稽首應允："承菩薩善意，敢不應命。"為此山取名"齊雲山"。據傳，其後真武大帝雖主要在湖北武當山處理天上地下的大事，但也常抽空來"齊雲行宮"，與地藏王菩薩研習佛道。久而久之，齊雲山成了道教勝地，而九華山也成了佛教名山。
齊雲山由白岳、齊雲、青獅、白象、岐山、太山、南山、苑山、萬壽山九大峰巒組成。風景區面積110平方公里，海拔僅585米，用"插天"來形容其高雖有些誇大，但峰巒形態奇特，以山奇、水秀、石怪、洞幽著稱。三十六奇峰，峰峰入畫，七十二怪岩，岩岩皆景。加之境內的河、湖、泉、潭、瀑，構成了一幅山清水秀、峭拔明麗的自然圖畫。
齊雲山名列道家七十二福地，舊有"江南小武當"之稱。這不僅是因為南宋時山上就建有真武祠，供奉真武大帝。更主要的是在明代，武當山道教已深入齊雲山。相傳張三豐曾於嘉靖年間到齊雲山傳教，住在半山上的一小屋中，後於此仙逝，他的徒弟將其肉身藏入一岩洞，尊稱"肉身洞"，洞前筑有靈殿，至今仍存，殿後洞口刻有"真身內藏"幾個大字。道教稱名山中仙人所居勝地為福地，故齊雲山又稱"福壽山"。
早在唐乾元年間(758-760)，有道士龔棲霞雲遊至齊雲山，隱居天門岩。南宋寶慶年間(1225-1227)，方士余道元建佑聖真武祠於齊雲岩。至明朝，齊雲山道教活動日趨興盛。山中道士常往武當山訪師求學，以致齊雲山官觀建築、道規道制，多仿效武當。正德十五年(1515)齊雲山道土汪泰元仿武當山建玉虛宮於紫霄崖，建靜樂官於桃花澗；其門徒方瓊真繼師志建榔梅庵，並往武當山取榔梅植於庵中。嘉靖十一年(1532)，龍虎山正一派第四十八代天師張彥奏令道眾赴齊雲山為皇帝建醮祈嗣，果獲靈驗，皇帝親題"齊雲山"匾額，並賜建玄天太素宮於齊雲岩。嘉靖、萬曆兩朝，龍虎山嗣漢天師祖孫三代先後留駐齊雲山建壇設醮，道教正一派開始在齊雲山發展勢力，形成武當山全真派與龍虎山正一派並存的格局。當時齊雲山成為與湖北武當山、則川鶴鳴山、江西龍虎山齊名的四大道教名山之一。明末，齊雲山道場漸衰，清咸豐、同治年間，連年兵禍，香火凋零，殿堂亭閣、登山石階又因年久失修而相繼傾坍湮沒。
隨著一千多年以來道教的興盛，齊雲山文化遺蹟留存極為豐富，除了有官、殿、院、壇、閣等108處外，齊雲勝景曾迎來李白、朱熹、徐霞客、唐伯虎、郁達夫等歷代名賢雅士，留下700餘處斑斕古艷的摩崖石刻，碑銘石刻星羅棋布。是安徽省境內集丹霞地貌、摩崖石刻、道教文化、山光水色於一體的國家級風景區名勝區。乾隆帝稱之為"天下無雙勝景，江南第一名山"。
齊雲山有月華街、樓上樓、雲岩湖、南山、橫江五大遊覽區。
月華銜景區東起白岳峰，西至青獅峰，北臨橫江，南倚方臘寨，是齊雲山道教文化及道教建築的集中地，融自然景觀與人文景觀於一體。新修復的天官府建築最為顯眼，山中道場多在此舉行，屆時香客雲集，佛鐘道鼓齊鳴，熱鬧非凡。主要 遊覽點有：望仙臺，為景區大門。傳說在洞天福地構修道的靈乙道人於此受鐵拐李點化，飛升成仙。而其徒因六根未淨，修行未果，只能在此盼望仙人點化，故後人謂之望仙臺，並建望仙亭。亭中有明碑，上刻"齊雲鎮南天，眾星拱北極"，突出了齊雲山不同凡響的地位。在台上俯瞰，只見婀娜多姿、煙波蕩漾的橫江環繞山腳，僕
