出狱后，徐渭住在“梅花馆”，这是租借的房子。“酬字堂”早已变卖了。

在“梅花馆”，他常常铺纸泼墨，“半生落魄已成翁，独立书斋啸晚风。笔底明珠无处卖，闪抛闲掷野藤中”。诗依然显得很孤傲，但对俗世的前程似已不作自欺的幻想。他说，徘徊在科举途中，自己考，也教别人考，希望“一飞而屡坠”，最后竟至于触犯法网，连秀才的头巾都革掉了，只好“一意于颓放”。

他的相知的朋友也在相继谢世。万历元年徐渭53岁的时候，诸大绶死于北京，是冒暑奔波隆庆帝的丧仪而染病身亡的，算是一身报效帝王家了。诸的死令徐渭极为悲痛，他几次救助了徐渭。万历二年，张天复死，至死还挂心徐渭尚未了解清楚的案件。徐渭在祭张天复的文中说，张天复在世时，自己不知道如何感激他，如今他死了，该怎样报恩呢？“某虽不言，而寸心之恒，终千古以悠悠也！”

张天复丧期，张元忭守制在家，最后结清了徐渭的杀人案。徐渭获得正式释放。这是万历三年（1575年）。

徐渭想离开山阴一段时间，在告别张家出游时作诗道：“斗酒哪能话不延，此行无事不堪怜。弓藏夜夜思弯日，剑出时时忆掘年。老泪高梧双欲堕，孤心缺月两难圆。明朝纵使清光满，其奈扁舟隔海天。”此诗写出了他无可奈何的舍弃、破碎的壮心和痛定思痛的悲凉。

徐渭游览了不少地方。“疲驴狭路”“破帽青山”，踽踽独行于吴山越水间。在若耶溪，因为贪婪大自然的美色，几次跌下驴背、几次落水。

前往天目山的途中，遇一郑姓老人，也是一个被损害被侮辱的“肮脏之士”。酒酣耳热，老人乘醉击鼓，急促奔放，一种特殊的兴奋感使他们叫嚎喧嚣，忘乎所以。

徐渭到南京，恭谒朱元璋的陵寝。在雨花台、灵谷寺、报恩寺塔、燕子矶、清凉寺，一一题咏。他说自己是“二百年来一老生，白头落魄到西京”。

有一天，他住松江画家璩仲玉家，被人盗走了棉被。在漫长的雪夜里，他卷作一团，满脑子文坛上的咄咄怪事。文坛上森严的秩序和虚伪的做派令他头发一根根竖起来，他压根儿藐视“前后七子”刻板愚蠢的复古，特别恶心作诗作文的论争中沾染上霸道的官气。他为谢榛不平，因为谢以布衣之身，被以权力地位作为手杖的李攀龙凶狠地辱骂，王世贞还要谢撒泡尿自己照一照。

徐渭从来是游离于明代各种争正统据地盘的文学派别之外的。

他的诗曾经线条粗重，色彩斑斓，追求力度，追求强烈的刺激，有惊人的紧张感和险怪的特征，就像他早年的狂诞夸饰。现在经历了迭起的厄难，诡奇瑰丽的色彩、躁动阴郁的感觉逐渐消失，变得苍凉又平易。他是死过几次的人了，一切都显得平淡而从容，更不必问古人作诗的法度为何物，唯求任情自适。他说，一个女子刚嫁到夫家，朱之粉之，倩之颦之，步不敢越裾，语不敢见齿，不这样，就不成为女子之态。十数年后，儿孙长大，自己成了老妪，黜朱粉，罢颦倩，横步而行，向奴婢问耕织，横口而语，把猪鸡圈进槽栏，甚至龋齿而笑，蓬首而搔。回想当年的妆缀取怜、矫真饰伪，真不好意思。假如此时还有人要求她装模作样顾盼作态，岂不莫名其妙？徐渭学诗，过去显得矜持庄重，今天则任其颓放，有人要笑吗？

显然，徐渭并不主张胡涂乱抹，他是渴求一种更深的美学层次上的无迹可求，一种已经超越刻意和匠心的化境。他并没有否定他早年的诗，它们是不必互相代替的。

这其实也是他对戏曲的主张。

他从小就不像“规矩人”那样与“俗文化”保持一份矜持的疏远，他认为“人生堕地，便为情使，聚沙作戏，拈叶止啼，情仿此已”，而戏曲是摹情最真的，他评点《西厢记》，修改《昆仑奴》，虽是“矮子观场，亦乐在其中”。

万历四年（1576年），徐渭受吴兑之邀，决定带长子前往宣府。

吴兑是徐渭早年的朋友，他们一起曾做过不少击掌相庆的事。

嘉靖三十四年，绍兴附近集结了不少军队，以抵御“倭寇”，其中多有骄横不法者。一次，四个下级军头进山阴城，登酒楼、下妓院，醉饱哗闹，不出分文，继而又骚扰居民，喧搅官衙，县吏莫可奈何。徐渭、吴兑在大街上与他们相遇，毫不畏怯地瞪着眼睛逼上前去，醉酒的小将们咋咋呼呼，像见着臭虫一样不以为意，只想吓吓他们。徐与吴不与小将们过多的理论，各去召集一帮胆大不怕事的朋友亲戚，把小将们一一掀倒，脱下衣裤，痛打一顿，赶出城门。徐渭、吴兑没事人似的大笑而去。

世事如棋，白云苍狗。吴兑的命运似乎比徐渭要好得多，嘉靖三十八年中进士，历任兵部主事、兵部郎中等。隆庆五年擢佥都御史，巡抚宣府，成为边防重臣。万历二年，又加兵部右侍郎衔，官阶二品。他与当时在朝的高拱、张居正有很好的关系，官运亨通，与穷困潦倒差点丢了老命的徐渭有天渊之别。

徐渭的被邀，出于吴兑一片乡情旧谊，徐渭接受邀请，也并不是为了所谓前程。一来可饱览边塞风光，二来可聚些钱财保障老来的生计。