这组建筑群始建于宋代，城堡分内、外城。内城建一座三层四合式“完璧楼”，取意“完璧归赵”之意，楼内挂着宋朝18位皇帝的肖像。北门筑有瓮城，瓮城内建武庙和父子大夫坊，是为正门。赵家堡南靠丹灶山，北对朝天马山。
完璧楼为三四合式四方楼，高20米，每层16间。楼外环以石基土堡，三合土堡墙高6米，宽2米多，上有垛口。设东西南北四个城门，东门题刻“东方钜障”，西门题“硕高居胜”，南门题“丹鼎钟祥”，唯北门没有题额。
天井中筑一条地道通东门外。完璧楼及其环卫土堡俗称“内城”。另一部分是赵义建的五座进府第，每座30间，共150间，每座第5进为2层楼，系内眷住。现仍保存完好。
外城围墙是三合土墙，高6米，厚2米，周长1200米。外城主要建筑为五座五进并列的府第。城堡内还有卞派桥、禹碑、宋代书法家米芾的手迹“墨池”石刻以及聚佛宝塔等珍贵文物。
南宋亡时，宋宗室起若和与黄侍臣等广东崖山逃至漳浦，避难隐居。明万历年间，其第十世孙赵范在这里建堡，以后赵范之子赵义又加以扩建。城堡仿北宋京城汴京式样建造。