上元县县衙原是元庭某位江南王爷王府的旧址，后损毁于明太祖朱元璋攻破集庆也就是南京的时候。

而在南京还是金陵时，上元县县衙，曾是五军都督府的一部分，一直到燕王朱棣靖难之役，赶走了建文帝，自立为帝后。

担心五军都督府做大，裁撤了一部分，后又迁都北平时，更是将金陵改成了陪都南京，划分应天府上元县和江宁县后，这才将这地方归属给了上元县，充当县衙。