奔走于胡宗宪门前已经五年，倭乱渐渐平息，不再有惊心动魄的战事，徐渭变得落落寡欢。“一年乐事花流水，几夜他乡月照人”，他似乎已不耐奔波之苦。

他那份独立干净自由的心思也时时骚扰他。

嘉靖四十一年（1562年），徐渭曾经有所预感的事终于发生了。

大学士徐阶，一向曲附首辅严嵩，但是，皇帝对于严嵩的宠信已日渐衰退，徐阶默会于心，等待更合适的时机和借口。嘉靖四十一年五月，在徐阶的示意下，御史邹应龙义无反顾地上书劾奏严嵩之子严世蕃贪赃枉法，又巧妙地提到了乃父“植党蔽贤、溺爱恶子”。嘉靖以老年的多疑也模糊地感到严氏父子过于丢人现眼的为所欲为，下旨逮捕严世蕃下狱，并罢免严嵩，徐阶成为首辅。同年十一月，徐阶策动南京给事中罗凤仪参劾胡宗宪“党严嵩及奸欺贪淫十大罪状”，皇帝诏令把胡逮送至京。人走茶凉，督府内作鸟兽散。

徐渭暗暗地吸了一口凉气。

在北京，胡宗宪并没有受到过于严厉的处分，只是免职回乡闲居。

徐渭悄然离开督府，返居“酬字堂”，审慎地面对时局。

第二年春天，礼部尚书李春芳派门客查某具六十两聘银，邀徐渭入京掌文书。徐渭很快就答应了。这在别人看来显然是一种荣誉和机会，徐渭本人也可能为此既兴奋又自负。

徐渭第一次迈进堂堂皇城。但是，时隔不久，徐渭从北京寄出的文字中就显出很无奈的情绪了，“学剑无功书不成，难将人寿俟河清。风云似海蛟龙困，岁月如流髀肉生。万户千门瞻壮丽，三秋一日见心情。平原食客多云雾，未必于中识姓名”，徐渭在李春芳门下的“食客”生涯，显然过得并不称心。

李春芳其实是一个得志的小人。嘉靖帝祭天祷地供神祇、一心做着成仙的梦，需要大量写在青藤纸上用于道教斋醮仪式的祷告颂文，即所谓“青词”，以述说皇帝如何是天生圣人、如何神人一体、万世不灭。李春芳善于并且乐于此道，自普通的学士到入阁柄政，六次升迁，多赖“青词”之功，被称为“青词宰相”。他招请徐渭，自然是要借重徐渭的文才，免得自己过于劳神操笔。可徐渭对于此等营生并不以为然。他借口说，这件事怕是一时半会儿学不成，学会了也不中用。

还有，李春芳为人恭肃谨慎，琐碎精明，对门客生活上的细节都有周到的安排，这也是徐渭的性格所无法领教的。

徐渭向李递上了辞呈，李没有表示同意。徐渭便拂袖而去。

李以一品之尊，恼火于徐渭的“欠尊重”，放出风声，要强迫徐渭回到他的门下。没料到李春芳会如此斤斤于小事，徐渭不得已匆匆赶回北京，将六十两聘银交还查某，查某拒绝接受，徐渭只好找李本人，李同样不肯收回，徐渭几乎绝望。进退维谷时，他的越中老友当时做翰林修撰的诸大绶出面说项，事情勉强妥帖，但李仍然可能无休止地纠缠骚扰他。

这对徐渭来说，实无异于紧张而残忍的凌辱。

胡宗宪倒台，与李春芳又发生冲突，而且，徐渭为此两度奔波，千里风霜，穷困微贱，心境凄凉寂寞，真是不堪设想。

回到山阴，早已囊中羞涩。家小要奉养，徐渭身无长物，只好拿自己收藏的两幅画去卖，未成。他把画拿回来，挂在墙上赏玩，庆幸保全了珍爱之物，肚子里却又发出饥饿的响声。

嘉靖四十四年（1565年）的新春到了，徐渭感到自己头发越来越少，怕是老之将至。自斟自饮后，又到朋友家痛饮，回家再饮。一场大雪遮住了“酬字堂”小小的风景，他觉得又感动又落寞。

问题远未到此为止。

严嵩父子谋求再起，严世蕃从遣戍地雷州潜回家乡江西分宜。徐阶同时在设计置严氏父子于死地，以确保自身的彻底安全。在严世蕃回到江西活动时，他亲自为御史林润起草，参劾“小严”曾经通过门客交结驻日本的海盗王直，如今又企图外逃日本。

果然，皇帝准奏，诏令再一次逮捕严世蕃，嘉靖四十四年三月处死了他，并抄没了他的家产。

既然严世蕃的罪名是勾结王直和外逃日本，那么，胡宗宪在东南沿海主持军务时联络王直的目的和过程自然也是无法限定和测量的了。在抄杀严家时，正好又查出胡宗宪曾写给严世蕃的信件，胡宗宪就此顺理成章地再次被逮捕。

同年初，胡宗宪没有出息地在狱中自杀，不再辩护自己的“清白”。

徐渭异常痛彻地写了一篇《祭少保胡公文》，泪眼模糊又慷慨激昂地表达了他的怀念、他的愤怒，同时也表达了他自身处境的尴尬。

他还画了不少画，题上词，隐晦曲折地诅咒居心叵测的徐阶以及他无休止的血淋淋的迫害。在他狂放恣肆的狼藉笔墨中又显出某种对于柔情和宽厚的渴望。这其实是他最需要人世间真诚眷顾的时候。

但是，自从潘似死后，徐渭的心灵短缺的正是这种温柔的体贴和宽解。后妻张氏即使能够通达地看待他作为幕僚的失败，似乎也难以忍受家中的穷窘。徐渭心中的紧张、焦虑、苦闷，无从得到缓解。

徐渭为自己写好了《墓志铭》，并请人做好棺木。这是绝望的尽头，也是绝望的缓解——代价是情感悄悄变质。

他不知道，他的精神已经濒于崩溃了。

嘉靖四十四年（1565年）夏天，徐渭在越来越恶化的精神状况下蓄意自杀。他用斧头猛敲自己的脑袋，头骨破裂，血流如注，不死。他又从墙壁上拔出一枚三寸长的铁钉塞入耳窍，然后扑倒在地，铁钉撞入耳窍，耳中鲜血喷射，他以为自己死了，又不死。他还用铁器锤碎自己的睾丸，仍不死；只是比死还更明白死了。在很多情况下，当自杀者第一下没有结束生命，接下来的自杀行为就在力量和意志上很难保证成功了。而且，徐渭的行动更可能是一种变态的自虐，或是迫于某种可怕幻影的追逐。

徐渭一系列的自杀没有成功，九死九生，人却已经像干瘪的虮虱，佝偻了，气断不属。一个姓华的工匠用“海上仙方”给他止了血。

第二年春天，身体渐好，神志变得清明。他怀着从死亡中走出来的冷静，为长子操办了婚事，又参加了沈炼昭雪（因为严嵩已倒）后的公祭，并校订沈炼的遗稿。作诗说“纵令潦倒扶红袖，不觉悲歌崩白云”，依然一种倔强而未免悲苦的豪情。

不幸，就在这一年春天，即1566年徐渭46岁的时候，他的精神再次处于失常状态。眼前总是晃动着许多稀奇古怪的东西，挑逗着他的攻击（施虐）。他杀死了妻子张氏，其中的确实背景至今不得而知。

据说，徐渭一次外出回家，见一和尚与其妻通奸，他执刀杀僧，杀死的却是自己的妻子，并无他人。长久积郁的失意和苦闷，使徐渭变得狂躁猜忌，极端的行为是有可能发生的，何况徐渭本性就多疑善妒。而长得漂亮又年轻的张氏是否确有奸情却无据可查。当时的舆论似乎并不偏向徐渭。

徐渭被捕了。

他在监狱中写成的一封信中，替自己辩护说“出于忍（残忍）而入于狂，出于疑（猜疑）而入于矫（矫枉过正），事难预料，大约如斯”，但如以为仅仅是他的疯狂所致，他为什么不无故杀死路人？如果是他的生性残忍，为什么没有杀死先前被休弃的王氏？如果认为是他多疑妄动，则杀人伏法，他自然明白的；如果以为是他矫饰的标奇猎异，为什么不同衾喋血一起了结，岂不可让人更觉新鲜流名后世？

让徐渭容忍妻子的不贞（即使是蛛丝马迹），显然是不可能的，尽管他自己常常偎红倚翠，这都是他的时代所通行的习俗和道德范围内的事。

也许张氏是一个在物质和肉体上有着更多要求的人，而徐渭并不能一一满足她。她因此也并不能对徐渭怀着至真至柔的温驯的体贴，她更不能理解徐渭矫亢的敏感、丧气的自尊和自卑。