靈璧石的形成從科學意義上講，是因為地質作用而產生的，但人世也有不少美好的神話傳說。

　　在靈璧縣當地撒播的民間傳說中，共工怒裝不周山，天裂地變，人類始祖女媧為了反抗自然對人類造成的災害，跑遍了千山萬水，戰勝各種妖魔鬼怪，找到了人世各種石頭並挑選了中華大地北距黃河、南距長江距離適中的今靈璧地區作為煉石場。熊熊的烈火淬煉了九天九夜，各種石頭融化成了紅、黃、藍、白、黑五彩混合石漿，又過了九天九夜，五彩石漿終被煉成堅硬無比的五色石。

　　女媧不顧灼熱與勞累將五色石牢牢托起，“哄咚”終身巨響，天上的窟窿被補平了。蹦濺的石塊零散的落回煉石場，形成了烏黑的靈璧磬石和各色的五彩靈璧石。歷經太古，當年的煉石場成為了今天譽滿四海、名震神州的靈璧石產地。