这座宫殿在建造时也是颇有一番故事。当初在建造时苏小怡对此举也曾表示让楚涑年不必为他劳民伤财，她在曾经的世界就不是什么千金大小姐，怎么就用得着被如此供着了。

只因当时正值苏小怡被满朝文武弹劾，一众朝臣都进言让楚涑年纳妃充盈后宫，在楚涑年的一再驳回下又言妖后霸占后宫，社稷危矣。楚涑年第一次听闻此言当场便气得处置了那个大臣，后不知是为了安抚苏小怡，还是为了气一气那帮迂腐的大臣，直接为她打造了这座宫殿。