张道陵自幼聪慧过人，七岁时，读老子的《道德经》，即能明白大义。年轻时，通晓天文、地理、诸子百家等学说，跟从他学习的学生有千余人。汉明帝时，拜他为巴郡江州令（今重庆），他见世风日下，不久弃官，隐居于洛阳北邙山，修持炼形合气，辟谷少寝长生之道。汉和帝曾经赐他做太傅，并封他为冀县侯，三次征诏都被他婉言拒绝了。随后，张道陵進入蜀地，隐居在鹤鸣山，修炼神丹符咒之术。
张道陵和弟子王长一起修炼龙虎大丹，修炼一年，红光照室，修炼两年，有青龙白虎来保护丹鼎，三年后，大丹炼成，他也修成了真人。不久他又遇到神人指点，修成了最高的道术。他能飞行天上，能听见极远的声音，又能分身隐形，变化万千、神奇莫测。
汉顺帝年间，一天夜里，太上老君降临在他居所，对张道陵说："近来蜀中有六大魔王，残暴百姓，你前往治伏，则功德无量，名录丹台！"太上老君授予他正一盟威符录、斩邪雌雄剑、阳平治都功印、平顶冠、八封衣、方裙、朱履等，要他诛灭横行四川的六大鬼神。张道陵精修千日，炼成了种种降魔的法术。不久八部魔王各领鬼兵共亿万数，为害人间，他们带来各种瘟疫疾病，残害无数众生。
于是，张道陵在青城山上设立道坛，鸣钟扣罄，呼风唤雨，指挥神兵与这些恶鬼大战。张道陵站立在琉璃座上，恶鬼乱箭一接近他，就立刻变成了莲花。鬼众又放火来烧，真人用手一指，火焰又烧了回去。鬼帅一怒又带来千军万马，前来围攻，只见真人用丹笔一画，所有鬼众纷纷叩头求饶。但是他们口服心不服，回去后又请来六大魔王，再次率领鬼兵百万围攻青城山。张道陵气定神闲，不为所动，只用丹笔轻轻一画，灭尽所有烂鬼，只剩下六大魔王叩头求饶。张道陵再用大笔一挥，将一座山分成两半，把六个魔王压在下面，让它们永世不再为害人间。随后，他与弟子王长、赵升往川中云台山，继续修炼。
张道陵除魔去病，救活万人，蜀中百姓纷纷追随他，拜他为师。张道陵就把他们组织起来，并且订定律令，教给他们道理，劝他们积德行善，成立了最早的道教团体-天师道，而张道陵也成为道教的祖师。
东汉桓帝，永寿二年九月九日在云合山，上帝派遣使者持玉册，封张道陵为正一真人。他在飞升前，将斩邪二剑、都功印、符录，传授给儿子张衡，并告诉他："我遇到天上老君亲自传授大道，此文总领三万都功，正一枢要，世世选一个子嗣来继承天师位，不是我的宗亲子孙不得传位。"于是，他与弟子王长、赵升天在云台山白日飞升，活了一百二十三岁。
