到达宣府，徐渭受到吴兑和他麾下将吏的欢迎，成为座上宾。
明代有一种轻薄奢侈的文化氛围，地方大吏与边关守将都爱结交山人文士，标榜儒雅，致使遍地都是山人文士。明代的武将中，会打仗的不多，会诌点诗文的却不少。孤独的将军戚继光练兵之暇常常分韵赋诗，相当热闹。
徐渭称得上是真正的山人名士了，又是巡抚吴兑的老朋友，生性不爱受拘束，喜欢逢场胡混，与武士反而相得。一段时间，邀请赴宴、观猎、请求赋诗作序的将吏们纷至沓来，忙得徐渭不亦乐乎。在宣府半年行走，诗成百来篇，一派天真烂漫。在他的这些诗中，多次出现了所谓“三娘子”形象。
据说，“三娘子”是一个颇为影响了边塞形势的重要角色，她是蒙古部落领袖俺答的外孙女，美丽又豪爽，俺答很宠爱她，娶之为妻，他的儿子、孙子都很嫉妒，詈骂诅咒该死的老东西。三娘子似乎并不计较这些，倒是倾心羡慕内地的繁华和漂亮的妆扮，常常跑到吴兑的军中，毫不隐讳地谈论自己的生活和好尚。吴兑和手下将领们赠给她八宝冠、百凤云衣、红骨朵云裙等等。吴兑的儿辈们对她更是亲昵，三娘子写信索取金珠翠钿，均随市给予。俺答死后，儿子、孙子相继成为首领，也相继娶三娘子为妻。因为三娘子的周旋加上其他因素，致使胡汉之间出现了持久的和平。
徐渭在宣府时，正有幸见到了这位蒙古的贵族小姐。她英姿飒爽妩媚俏丽，徐渭为她赋诗，也庆贺边疆的安宁。
他还多处写道胡汉之间熙洽平静几如内地的生活，他的心境已柔和很多，早年时时涌动的如同嗜血的激越已逐渐为平静的理智所取代。
只是，对于自身的那份敏感却依然如故。
每当他想起少年时请缨的雄心与眼前万事皆空的青袍霜鬓，就有一种摆脱不了的沮丧和悲恸。他不愿住在巡抚府中，宁可租赁一间阴湿的僧房做住处，他害怕看到自己与吴兑之间的悬殊处境，甚至也多次谢绝吴兑手下大将们的邀请，恐涉非分。
万历五年（1577年）春，徐渭到北京。因为儿子徐枚到北京后做点生意，他不便独自南去。
夏天，徐渭认识了辽东名将李成梁之子李如松。李如松粗犷果敢，酷爱书画，亦喜诗文，刚从辽东战罢归来。徐渭素喜兵略，初次相见，便如故人。
李如松向徐渭谈起辽东的战事，惊险又残忍，不觉忧愁难禁、泪眼蒙眬、声音沙哑。徐渭从他刚健的外表下看到了一颗似曾相识的柔弱的心，更感觉一种骨血中涌动的亲情。李如松说，父亲身经百战，浑身刀痕剑瘢，幸而有他们兄弟支撑，但弯弓上马，有去无回，家丁已战死大半。而这并不能给他们带来荣誉，只带来惶恐和担忧。因为朝廷对于边疆事宜的决断，所听信的仅仅是文臣墨吏的一纸奏章。
徐渭实在找不出话来宽解，只写了几竿消瘦苍劲的竹子送给他。
夏天未过，徐渭生了一场病，儿子也病了，都是痢疾，恶心痛苦。
八月，徐枚护送他回乡。路中，智力平常、不喜读书而蠢莽过人的儿子居然联络外人将父亲辛苦攒下的钱洗劫一空。
万历六年（1578年），徐渭身体有了好转，他与沈明臣相约，去徽州吊祭胡宗宪。此时，胡宗宪已恢复了生前的官衔，赢得死后的哀荣。半途中，徐渭觉得身体有异，匆匆折回。回家后，精神恍惚，烦躁狂乱，甚至厌恶自己的苟且偷生。暑热中，五十多天不吃，只喝一点儿糖水提气，卧床不起，半死不活，原本臃肿的身体也消瘦了许多。
第二年开春，老友李子遂来见，同他说了不少的话，稍稍地缓解了他固执的自虐。他终于走下病榻，还同李一起凭吊了季本的祠堂。
不久，山阴县令传呼夹道来访，徐渭闭门不见，说是怕县尊大人的隆隆车马辗坏了寂寂柴门内的苍苔。县令知意，便下了车，换上便服，步行到徐家，徐渭这才接待了他。
万历八年（1580年），张元忭从北京带信要徐渭前往。
徐渭其实已为张代过不少笔墨，此行也是去作“牛马耕”（代笔）的。他自嘲说：白发齿落，还拿一管毛笔，千里奔走，睡在冷坑上，这与老牛踉跄、拽犁不动、泪汗交替，有何两样呢？
徐渭到北京时，李如松在离京不远的马水口任参将，徐渭受邀到长城游览。逗留期间，李如松遣一名侍女照顾他。徐渭走时，很留恋这名侍女，侍女似乎也腮红落泪，不胜依依。
徐渭住在张元忭的府第近旁，帮助张应对文字。他不太愿意过这种生活，特别不愿意结交京城的王侯显贵，有时还故意闪避。以张元忭的地位和他自己的声望，他本可以成为不少人的座上客的。
一段时间下来，他与张元忭也发生了一些不愉快。张是他的恩人，曾经帮助他从死狱中获释出来，他不便拂袖而去。但他的古怪却让张觉得寒心。
有一次张送他皮衣和酒肉，他居然很幽默地致信要将皮衣退还，因为皮衣不是他这种穷人所应该穿的，还说酒肉不好退还，但酒罐还是可以归璧。其实，这只是借口，真正的理由是徐渭负才自尊，对于“一旦得志，即跨骏食肥，目不知有长老者”，他无法领教。而这方面，张显然不可能没有对徐渭来说的不周到之处。
冲突还来自另一个方面。徐渭自恃一副落拓傲玩的名士派头，纵诞不喜礼法，在张元忭门下，却不得不恭肃严谨，有板有节地遵循着通常的仪式规矩，他说：“吾杀人当死，颈一茹刃耳，今乃碎磔吾肉！”
有时候，冲突甚至形成颇为难堪的局面。同张元忭因为有事不合或者张出言不慎伤害了他，人们便看到一个长身白面、目光闪烁如电的老头子，大声地詈骂，然后，骑着马迅速地离了张家。
与张元忭冲突后，徐渭的精神状态变得很差。有一段日子，他废餐绝食，并因体弱头晕而摔倒，右臂脱臼，两腿无力，行走不便。
万历十年（1582年）二月，那个劫钱的儿子徐枚从山阴赶来，把病得不轻却倔强如常的老头子接走了。