遗址地处鄱阳湖中，为典型的丹霞地貌。地质探明附近红石料产量巨大，有2亿立方米红石蓄储量，深度可达100～200米，而且其红石石料质量高，较其他产地的石质硬，粉状颗粒细，适宜雕刻装饰精细精美构件。

遗址呈东西向分布，长1200米、宽200～600米不等，面积约60万平方米，由50多个不同时期、经过几百年开采形成的千余亩石窟水塘组成，红石崖壁最高达30米。

该遗址始采于明朝万历年间，开始主要是作坊式开采，清朝鄱阳县、南昌县、余干县等地工人汇聚大规模开采。石料不仅供应附近地区的建筑房屋、路桥建设和水利护坡之用；而且大量输出其他地区的大型工程建设，研究表明南昌万寿宫、佑民寺、汪山土库以及余干县忠臣庙是使用该地红石建造。

该遗存的人文底蕴深厚。1363年，朱元璋与陈友谅大战鄱阳湖时，军师刘伯温曾经在石场居住，遐迩远扬的刘伯温钓鱼台位于遗址北面，现在还保留当年的战壕遗迹，可以遥想当年的刀光剑影。

该遗址作为一处历史悠久、开采时间较长的明清时期石材加工场所，不仅为研究明清时期江西采石工艺、江西地方建筑史提供了实物资料。而且为研究中国第一大淡水湖鄱阳湖的发展历史提供了珍贵资料，它更是江西地区丹霞地貌与人文景观天然结合的典范，遗址所在地南矶山还是国务院批准的“鄱阳湖南矶湿地国家级自然保护区”。

2009年第三次全国文物普查，新建县博物馆对遗址进行实地普查、登记。2018年，江西省人民政府将其公布为第六批江西省文物保护单位。目前遗址保存完整，周围安装标志牌及界碑护栏，修建了游步道，已经开放为景点供公众旅游。