據史料記載，周初有十位智者居住在集賢堡，後來逐漸擴大，形成了壹個更大的村落，又稱“十賢之鄉”，村裏有壹座智者廟為證。這十個智者的名字是村業主、周濤、蘇道標、閻道通、、王建、程、張發成、史道樂和周華生。
解放前集賢堡老城墻周長9.3華裏，新城擴建，周長15華裏。這堵墻有三英尺高，底部三英尺寬，頂部壹英尺寬。有東、西、北、南四個門，還有壹個小北門。建築的西南門有壹個內門和壹個跑道。東城門樓寫著“地勝東”，南門寫著“地勝東”。城內有36座寺廟，城內街道分30旗。城內最大的寺廟是“谷峰寺”，東寺、西寺，中間是王耀寺，這是薊縣王耀寺的名字，聞名數十裏。這裏是城堡最繁華的地方，各種門面店、小吃攤、商戶雲集，壹派熱鬧非凡的市場景象。
薊縣城外，名勝古跡星羅棋布，城東有壹座“妯娌墓”，高大雄偉，又稱漢代五柞宮遺址。城南有壹棵大橡樹，山歌是:樹冠占地五畝，仙寺有聖賢；城西還有仙橋，城東的河殺觸目驚心；城北有壹座西寺，祖祖輩輩都叫聖壽寺。
從古至今，集賢堡壹直傳承著壹種野性而粗獷的民俗——“正月打社火”。這個活動，全民參與，充滿了熱情和活力。無論是寒風還是大雪，早上和晚上，所有的參與者，從五六十歲的老人到五六十歲的男孩，都是光著身子，只穿著褲子，手裏拿著鞭炮跑到對方的位置上，喊著喊著。真的是壹種豪氣萬丈，意氣風發的狀態，令人驚訝。這壹傳統民俗被省電視臺秦風民俗攝制組評為關中最受歡迎的民俗文化活動之壹。
明初城堡西北角還有壹座石門樓，高50余尺。整個建築由青石和漢白玉制成，共三層，底部有壹個貫穿南北的門洞，遊廊鬥篷和石頭基石墻，全部融為壹體，上層建築的南面懸掛著壹塊大匾，上書“宣帝亭”。這座石頭建築是城堡中最高的建築，也是關中地區罕見的石頭建築。可惜文革前就拆了。