石柱山原名“捺山”——当地老百姓都这么叫它，现在石柱山在行政范围上也隶属于“捺山茶场”。上了岁数的老人都坚持说该名字的由来与“愚公移山”有关。传说当年愚公移山的精神感动了玉帝，玉帝命一个名叫“夸娥雁”的大力士帮助愚公将太行、王屋两山搬走。夸娥雁的儿子也缠着要跟父亲一起去人间。于是父子两人来到地界，帮愚公将太行、王屋山移到东海后，又移走了很多小山，剩下最后两座小山由夸娥雁的儿子挑。儿子第一次来到人间，又挑走了那么多山，自然十分得意，当他挑着最后两座小山到了仪征地界时，竟高兴得晃起了肩上的担子。这一晃担子重心不稳了，他急忙用手捺住担子的一头，由于用力过猛，“咔嚓”一声扁担断了，“轰”的一声，山掉在地上，担子那一头的山也随之塌到地上了。这被“捺”得掉下来的山就被称为“捺山”，塌下来的那座山就叫塌（塔）山。当地人说，捺山有两个山峰，两峰之间凹下去的像手印吗，那就是夸娥雁儿子的手按的！
另外，山上还有一个“仙人洞”，洞内有一眼“不老泉”。不管什么季节、什么时候，都是泉水长流、甘冽可口。当地传说在很久以前曾经有一个人上山砍柴，来到山洞口，发现有 8 个白胡子老头在洞内打牌对弈，洞内有一棵大桃树，桃花一会儿开、一会儿落，老头们不时随手摘个桃子吃吃，舀一瓢脚下的泉水喝喝。砍柴人觉得好玩，也摘了个桃子吃吃，喝了几口洞内的山泉。砍柴人出洞回头一看，自己
带着的砍柴工具全都不见了，下山回到村子，竟发现和自己差不多年纪的人都老了。直到今天，周边地区来取水的人仍络绎不绝。