從光明頂往西或由排雲亭南行，就能見到“飛來石”。往西北小路行2公里，可至西海門排雲亭。“飛來石”是一塊高12米、重600噸的巨石，底部和山峰豁然分開，似天外飛來，故名。《紅樓夢》中拍攝的的頑石就是飛來石。飛來石又名“飛來峰”，即“仙桃峰”。
關于奇石是如何“飛來”的，有個關于八仙之一鐵拐李的傳說。相傳，宋代有個叫單福的石匠，一生造橋，畢生心願想在自己家鄉的江上也造橋一座，但嘆息沒有幫手。他膝下只有一女叫小姣，長得聰明美麗，深知父親的心思，懇求父親讓她幫忙。但那深山採石，百里運石的苦和累，小女子怎麼受得了，所以單福就是不答應。小姣跪在地上苦苦哀求，單福沒奈何，才含淚點頭。他還把三個徒弟找來邦忙，不久就幹起來了。但由于熬不過苦累，大徒弟和二徒弟先後悄悄地溜了。只剩下單福和女兒、三徒弟為修橋鐵了心，繼續咬牙苦幹著。但好幾年過去了，運到江邊的石頭只有一小堆．這樣累死苦死，橋也建不起來。小姣一咬牙，請人寫了“捐身修橋”四個大字，插了個草標，坐到江邊石堆旁。一連三天，來看的人無數，但望望滔滔的江水，就都走了。這天，忽然來了個瘸子。身背一把扇子，摘了草標．問小姣願不願意跟他走，小姣回答說：“什麼時候把大山里開採的石頭全運到江邊，就什麼時候踉你走。”
這瘸子原來是八仙中的鐵拐李。他擠出人群，騰雲駕霧，很快來到百里外的大山，從背上拿下扇子，對著單福和三徒弟開出的石頭就扇。石頭竟都飛了起來，又紛紛都落在江邊。單福和三徒弟也被從山上扇到了造橋工地。鐵拐李還怕不夠，又對身下立著的一塊巨石扇了三扇子，他就站在那巨石上飛到了江邊。只見底下盡是人，未敢讓巨石落下。又聽單福大聲說：“石頭夠了”。他便駕起雲頭，飄游起來，游到黃山，見黃山風景秀麗，便將石頭落下。從此，這飛來石在這里落地生根。