他虽然三十有五，但却没有妻妾。平日里在永安镇之中也会找些女子，或者去旁的州城逛逛楚官。不过他的府中是干干净净没有一个女人的，而且他和州府衙门的关系很好。

也有人说，经常见到有一个蒙的严严实实的马车停在他的府门口，从里头会下来个蒙面女子，不知是什么人。但女子在他的府中通常不会过夜，匆匆而来也匆匆而走，没有人知道那女子到底是什么身份。