西單牆是在北京西單十字路口東側路北的人行道旁，幾路公共汽車站都設在這裡。在這些公共汽車站的後面，是一排約有200米長的灰色矮牆。因為這裡來來往往的人很多，常常有人在這排矮牆上貼尋人啟事和小廣告，引人注目。從1978年春開始，有些人在這裡貼大字報，看大字報的人很多，一傳十，十傳百，逐漸形成一個自發的聚攏人越來越多的場所。
民眾尋找宣泄怒氣的場所
這種在北京街頭自由張貼發表政見的大小字報的源頭，要追溯到1976年清明節時的天安門事件。那時，"四人幫"的罪行早已天怒人怨，趁清明節懷念周恩來的時機，人們紛紛到天安門廣場烈士紀念碑前送花圈送輓聯，越來越多的貼出反對"四人幫"的政治詩文，這也是促使結束"四人幫"專政的一股強大的群眾力量。
粉碎"四人幫"後的1977年清明節，天安門紀念碑周圍也貼了很多懷念周總理和慶賀粉碎"四人幫"的詩文。1978年清明時，紀念碑周圍貼的政治詩文更多。1978年4月6日一篇署名霍華和尹明的大字報發出建議，他們認為，應當把張貼政治性的大字報經常化，不必限於清明節。
文章說："我們應該把這塊地方作為不中斷的論壇，不閉幕的會場，不休戰的陣地，隨時把我們的思想言論寫出來，把我們的作品發表出來，在這裡‘百花齊放，百家爭鳴'。""在這裡，每一個人都可以作為政治家、思想家、科學家、藝術家、理論家、作者，同時又是讀者、聽眾、觀眾、批評家。在這裡，每一個人都是社會的主人。"
當時，人們認為這就是"民主牆"的倡議書。當然，天安門廣場不適於成為經常張貼大字報的地方，人們在尋找一個更為適合的場所。這時，出現了一件事，更直接引發了西單民主牆的出現。
民主牆上"百花齊放"
"文革"一開始，深受廣大讀者歡迎的《中國青年報》和《中國青年》雜誌被停刊了。粉碎"四人幫"以後，《中國青年》於1978年9月復刊，《中國青年報》於10月復刊。出人意料地是，《中國青年》的第一期復刊號卻觸怒了當時主管宣傳的黨中央副主席汪東興，他下令把已經發出去的《中國青年》復刊號通通收回，禁止發售，這引起了廣大青年讀者的憤慨。
一個不知名的人，把這一期雜誌一頁一頁地張貼在西單那一排矮牆上，轟動了北京城，成千上萬的人們湧到西單牆去看大字報。很多人讀後在這個牆上貼出短短的大字報和長長的小字報，表示反對禁止發售《中國青年》。另一些要求肅清專制餘毒、要求民主、要求言論出版自由的大字報，也越來越多。如這年12月貼出的任畹町、魏京生等寫的文稿，要求政治民主化，引起很大的反響。一些青年還自發地組織了一些民間團體，出版了一些民間刊物。來這裡貼大字報看大字報的人越來越多，因而人們把這裡叫做"西單民主牆"。
民主牆上大小字報的內容很多，有蒙冤受屈者的申訴，有批評建議，有揭發惡人醜事，有新聞消息，後期主要是政論。其中討論最多的是民主與法制問題。主要有以下幾點：（1）從總結歷史經驗的角度來探討社會民主問題；（2）主張民間辦報、民主辦報的問題；（3）要求言論自由，廢除"惡毒攻擊罪"的問題；（4）讚賞推崇西方民主的問題；（5）公開評毛澤東的功過問題，等等。形式多樣，有詩詞、小說，有對話，有緻某人的公開信，有贊成或反對的批注；有署真名的，署筆名的，或不署名的；有的大字報具有一定的理論水平和文采，也有謾罵譏諷式的胡言亂語，有自我批判、自我表揚的等等。
民主問題逐漸成為焦點
在最初的幾個月，西單牆的大小字報絕大多數的內容以申冤訴苦為主，只是就事論事，不大涉及政治內容。隨著官方報刊批判兩個"凡是"和真理標準討論的宣傳，西單牆大字報的內容也越來越集中到政治民主問題，越來越接近一些敏感問題，引起了人們的紛紛議論。
人潮湧動的西單民主牆
議論的焦點是：西單民主牆的主流是健康的，還是反動的？它是中國政治生活中一種生動活潑的表現，還是一種不安定的因素？民主牆應當在中國政治生活中消失，還是應當加以引導，使之更加健康地發展？
但是關於"民主"的討論越來越尖銳化，意識到事態開始朝難以控制方向發展的中共高層，開始逐漸有取締"西單牆"的想法。
1979年11月，中共五屆人大二次會議討論關於取締"西單牆"的問題，1980年9月五屆人大三次會議對關於取消"四大"（大鳴、大放、大字報、大辯論）的問題，正式作了決議。
