白雲觀前身系唐代的天長觀故墟，始建于唐開元二十九年（公元741年）。今白雲觀的老君坐像為當時所制石刻。金正隆五年（1160年），北京契丹族南侵，天長觀遭兵火焚燒殆盡。金大定七年（1167年）敕命重修，歷時七載，至大定十四年（1174年）三月竣工。

    為慶賀殿宇落成，觀內舉行了三天三夜大道場，金世宗率百官大內臣前來觀禮，並賜名曰“十方大天長觀”，並命當時著名道士閣德源為本觀主持。大定二十六年（1186年）著名道士孫道明住持十方天長觀觀事，曾于此編修《大金玄都寶藏》。

    泰和二年（1202年）正月望日，天長觀不幸罹于火災，僅余老君石像。翌年重修，建成後，改名曰“太極宮”。金宣宗貞祐二年（1215年），國勢不振，遷都于汴，太極宮遂逐漸荒廢。

    元初邱長春真人自雪山東歸，元太祖十九年（1224年）至燕京，賜居于太極宮。當時宮觀一片淒涼，遍地瓦礫，長春真人遂命盤山棲雲子王志謹主領興建，歷時三年，殿宇舍館又煥然一新。太祖二十二年（1227年），邱長春真人羽化于此，同年，成吉思汗諭旨改稱為“長春宮”。次年，尹志平等在長春宮東側下院建處順堂藏邱祖仙蛻。

    元末，連年爭戰，長春宮原殿宇日漸衰圯，後重修工程改以處順堂為中心展開，明初易名為白雲觀。清初，在王常月方丈主持下對白雲觀又一次進行了大規模的重修，基本尊定了今日白雲觀之規模。

    新中國成立後，人民政府貫徹宗教政策，保護文物的古跡，1956年、1981年先後兩次資助道教界修茸白雲觀，恢複宮觀建置和古代建築風貌。整修後的各處殿宇壯麗巍峨，頓複舊觀，年深失修的全真祖庭重現第一叢林之氣象。

    1984年列為全國道教重點宮觀，同時對外開放。中國道教協會、中國道教學院均設在此。