黄永昌师从他的祖父，受了他祖父的提携，仕途平顺，可官愈高，则德行愈败坏，到了后来，吃喝嫖赌竟是无恶不做，他的祖父自然是多家劝阻，可却是一点用都没有，渐渐地，也就疏远了黄永昌这个学生。

彼时，黄永昌已经是江苏巡抚了，众人见他已经没了安平侯府这座靠山，都对他渐渐疏远，黄永昌屡次上门求见，可都吃了闭门羹，渐渐地，对他祖父就放出厥词来，将他祖父气得不行，与黄永昌再无来往。