灵璧石被誉为“天下第一石”，是清朝皇帝乾隆在南寻时，到了灵璧石的产地。在当地结识了一位尼姑。乾隆与此尼姑交谈甚欢。尼姑也为乾隆讲述了许多关于灵璧石的故事，带乾隆了解了许多灵璧石的历史，乾隆深感灵璧石的博大精深。乾隆再次来到这个地方时，尼姑与乾隆讲述时，便给乾隆看了自己随身携带的灵璧石。乾隆看了过后心生喜爱。想索取那块灵璧石，便与尼姑下棋。但乾隆输了三次。尼姑见乾隆如此喜爱，便将灵璧石送与乾隆。乾隆便写诗称灵璧石为“天下第一石”。

灵璧县境内在古代震旦纪期间（距今约8-4.4亿年），经过吕梁灵璧石构造运动，海水漫及境内，使灵璧成为一片浅海的海滨。这个时期，原先藻类植物大量繁殖生长，形成礁体，在海相沉积作用下，发育成今各类石矿体。在震旦系构造上沉积并形成了震旦系-奥陶系的碳酸盐岩石。

进入古代（距今约4-2.3亿年），经过加里东构造运动，地壳抬升为陆地。后经过华力西构造运动，又下沉为浅海泻湖。

直至中生代（距今约2亿年），经印支构造运动后，这一带才隆起为陆地，海水从此销声匿迹。同时，在印支结构运动期间，境内地层发生了褶皱和断裂。

在侏罗纪晚期至白垩纪，又发生了燕山构造运动，伴有火山岩喷发活动，出现了岩浆岩地质。

进入新生代（距今1.2万千年），在石灰岩溶蚀地区沉积了第三纪地层。

近100万年，形成了第四纪冲击平原地层。上述地层多数隐伏于第四系之下，少数零星出露在低山丘陵的剥蚀残丘处。经过复杂漫长的地理变化，形成了特殊地质和造型的灵壁石。