廖绪家中妻子曾经是一方文士的女儿，那岳父是看中廖绪当时的文才才把自己女儿下嫁给他的。

廖绪曾经读书所用的银两也都是岳父家给的，只是后来廖绪为人太过正直，在官场上得罪了很多人，这才被流放出去，如此反复几次之后，廖绪也心灰意冷，辞了那朝廷里的官职。

但即便是辞官之后，毕竟有岳丈家中的万贯钱财，廖绪也没吃过什么生活的苦。