不过桓温本来念在儿时的交情，此外也有利用殷浩这个老熟人，以殷家的势力来牵制当时坚决反对自己篡权夺位的王家，谢家等门阀家族的考虑，一开始是答应重新起用殷浩为侍中的。为此两人还书信联络不断，甚至商议起朝中的人事安排了。
但殷浩在大喜之余，却又犯了低级错误，居然把最重要的一封回信，也是答复桓温应该如何安排朝中官职的回信给弄出了岔子。也许是因为这封信太过于重要，所以殷浩在装好信封后又反复地拆开观看，如此十余遍，这才满意地放了回去，却是出了差错，把一封白纸给放进了信封之中，寄给桓温。
桓温本来满怀希望地想要看殷浩安排的朝中官职名单，也能从此看出殷浩是否真心地臣服于自己，却看到了一张白纸，于是勃然大怒，以为殷浩是在羞辱自己，以白信绝交。从此桓温就再也不理会殷浩。
身为文坛领袖的殷浩，就此经历了人生的大起大落，在家患上了怪病，时不时地会嘴里念念有词，拿起一支笔在空中虚画，却不知在写些什么，直到很久以后，家中子侄才明白，他写的是“咄咄怪事”这四个字，大概是一直也没弄明白，为什么写好的信，就成了一张白纸呢。
两年之后，殷浩积怨成病，最后活活气死了，而桓温没当上皇帝，却保住了桓家在荆州的世袭藩镇，也难怪殷仲堪愤愤不平，毕竟当年长辈的恩怨还在，自己现在也跟桓玄有了高下之分。
桓玄叹了口气：“我们两家长辈的事情，就不要再说了，当年那封白信，可能是个误会，先父临终之时，言及生平悔事之时，还特地提到了这件事，说这只怕是信件给某些想要离间我们两家关系的人掉了包，这才让两位大人生出了误会。只是后来他意识到这点时，令叔已经仙去，也无法弥补这个遗憾了。”
殷仲堪冷冷地说道：“事已至此，说什么也没用了。你们桓家起码还有荆州，而我们殷家子弟，除了有几个虚职之外，又得到了什么？这回若不是你们在荆州面临了很大的压力，要四处求援，又怎么会来找上我殷仲堪呢？”
桓玄微微一笑：“殷兄果然一语中的，不错，话说白了吧，之前我没来找你，确实是因为你们殷家现在并非居于要职，不过，这不正是你家的传统吗？陈郡殷氏，向来是文坛领袖，就算没有官职在身，也在世家士族间有巨大的影响力，可谓黑衣宰相，山中执政。这可不是小弟要吹捧殷兄啊。”
殷仲堪的脸上闪过一丝得色，点了点头：“这点愚兄倒是可以当仁不让，这也是我们殷家的