对言家颇为忌惮，对言世昭也心存敬畏，那是从藩邸之时因为自己的地位贫贱而对富豪之家生出的自卑和羡慕，虽然自己乃是皇族，可实际权势地位比不得乡绅土豪。
他以为言世昭为儿子病榻求相位，乃是临死之时的一时糊涂，更不曾真的当真，所谓完成临死之人的心愿，也纯属信口一说，没想到言世昭却顺势就坡，言语挤兑，也没有把言世昭这位本来籍籍无名的礼部右侍郎当一回事，可是却料不到这位言退之年不过三十五岁，行事之老辣干练，颇不在乃父之下。
言退之继承了他父亲的精明强干，喜怒不形于色，与他的两个能歌能哭，性情豪迈洒脱的弟弟截然不同。
他在官场之中更是一只狡猾的老狐虎，他比狐狸狡猾聪明，比老虎吃人还要更加不吐骨头，他精于算计，心狠手辣，做事果决。另一方面，身为左丞相，对于国朝大政，虽然从善如流，听从人们的谏言，可是等到别人表完了见解，他往往就一言而决，毫不理会右丞相和其他朝臣的据理力争，当机立断之后，更绝不容别人再加反驳，就连皇上也对他的中枢决策，有时候也感到太过张扬，所以另外设置三名参知政事作为副相牵制他。
他的专横跋扈多出自对皇帝的中心，多为百姓谋民瘼，对轻言征战兵戈之人最是打击，这其中含着许多私心，也是他在家和为官时候的说一不二所致，可是也因此让百姓获得休养生息，边境烽烟不见，贸易往来，商旅大兴，以经商发迹的言家也因此获得了无数财富，本来便有倾城之富的言家，更增敌国之富。