既然班固、郦道元等人的错误已遭反驳，那么项羽等人在陵园内究竟破坏了什么?
也许用不着想象就可以知道，秦始皇陵园的地面建筑，首先就成为项羽大军洗劫和破坏的对象。那博大恢宏的寝殿、食宫、门阙、角楼等在兵燹中都无一幸免。几千年后，人们站在这片遗址上，仍然能看到红烧土和木炭混杂，残砖碎瓦与草屑相伴的凄凉景象。同时，埋葬于地下的兵马俑也在这次洗劫中深受其害。
在考古勘探中，经过部分清理的陵园建筑遗址，很少有金钱和青铜器物的发现。已发现的“乐府”铜编钟、两诏铜权、“骊山园”铜锤及戈、矛等兵器，都散见于陵园的堆积土中。秦俑坑内的青铜兵器，按理应当与兵俑的数量相等，有近百件之多，这个数量无异于一个大型的兵器库，一旦得到这些兵器，便可立即装备士兵，投入战斗。但现在看来，俑坑中的兵器所剩无几，若结合兵马俑被破坏的情形来看，坑中的兵器显然是被掳去了。当年刘邦指责项羽“掘始皇冢，私收其财物”，无疑是指他捣毁从葬设施，并掠走陵园财物的暴戾行径。
关于项羽是否盗掘过秦始皇陵的争论，似乎暂时可以告一段落。但是，历史上企图盗掘秦陵的仍大有人在。
据史料载，后赵时的石勒和石虎，在盗窃战国时的赵简子墓失败之后，来到了秦始皇陵。经过一番周密的钻探之后，他们在封土以外的不远处开始了挖掘。这次，他们的苦心没有白费，鬼使神差，他们打开了通往秦陵地宫的墓道，取走了墓道门旁安装的铜柱数根。正当他们进一步向地宫深入凿挖时，被守陵人发现。两人不得不含恨忍痛放弃了秦陵，背着铜柱落荒而逃。
据当地村民说，清朝道光年间，秦始皇陵封土遭到了暴雨流水的冲击，陵墓北面的半山腰间，也在暴雨冲击中塌陷出一个很深的洞窟。这个洞窟被附近的岳家村一个老头发现后，立即传播开来。消息传到了一个外号叫“白狼”的土匪头子耳中，他立即率人以探测陵园为由进入洞窟，令所有入洞者大吃一惊的是，这个洞窟竟通入陵墓地宫。“白狼”对此大为兴奋，命人取了大批的珍宝出洞后，溜之大吉。守陵人得知此事后，马上报告官府，官府派人堵死了洞窟，随之加紧了对陵园的看管，洞窟再未被掘。
清朝灭亡之后，随之而起的是军阀混战，陕西军阀又一次派兵挖掘了秦陵，取走了地宫大批珍宝。
以上记载和民间传言，虽有证可据，但大多漏洞百出。依石勒、石虎两人的力量，怎么能轻易就打通了地宫隧道?项羽当年率领千军万马，也对秦陵无计可施，二石难道是神仙不成?退一步讲，即使是打开了隧道，依秦陵的坚固，作为支柱的铜柱两个人怎么能将其取下？别说“数根”，就是一根，恐怕费尽九牛二虎之力也是“蚍蜉撼大树”。再说，他们二人在表层又是钻探，又是挖掘，守陵人竟浑然不觉，而待其进入隧道后，却被守陵人发觉，这于情于理实难讲通，莫非守陵人有“天眼”不成?所以，这一说法实难服人。
“洞窟”的说法也显荒唐。秦始皇几十年处心积虑建成的坚固陵墓，怎会如此地不堪一击?一阵雨水冲击，就能冲出个大窟窿，让人难以置信。更致命的是，这个洞窟居然能直接通入地宫。如果真是这样，从秦至清，中间老天不知下过多少次暴雨，洞窟也不知出现过多少回，哪轮得上清朝的“白狼”搜取珍宝?恐怕陵墓内早已是空空如也。
至于陕西军阀的盗陵，既无时间，又无姓名，更无盗掘经过，自然只能理解为讹传。
可以肯定的是，秦陵作为一座超级天子大墓，自它建成之日起，历代盗墓贼就对其虎视眈眈，也曾做过种种努力，但也只是留下几个小小盗洞，在庞大的陵墓面前，显得是那么地微不足道，也并未对地宫构成真正的破坏。至于秦陵地宫门口是否有刀枪暗箭弩矢之类的射杀性武器，以防盗墓贼的入侵，达到“有所穿近者辄射之”的奇效，在地宫尚未打开之前，没有人能说得清楚，但据秦陵钻探人员透露，这种可能性是存在的。