《世说》上记载了这么一件事。高僧要东行，一群名流去饯行。谢万去得晚，坐得远。一会儿，坐在高僧旁边的蔡子叔离席，谢万就坐在了蔡子叔的位置。蔡子叔回来后，大怒，抓住谢万丢到一边。谢万倒地，沾了一身土，狼狈不堪。旁边的人都惊呆了，大家想：曾当过大帅的谢万，会怎么对付这个六品小官蔡子叔呢？只见谢万慢慢站起来，拍一拍衣服就找位置坐下，神情平和，一点也没有愤怒沮丧的样子。坐好后，才说：“你这奇人呀……