走不通俗世的前程，徐渭处于一种扭曲、阴郁、乖戾的激情状态。他越来越认同于李贺，从李贺的诗中他找到了可爱的神秘与病态。李贺是个十足悲剧的灵魂，受大自然永恒幻象的驱使，他在神秘的恍惚中做着离奇的梦，再把梦生发成不朽的杰作，成为诗坛上所谓“夜哭鬼语”。徐渭此时希望得到“寡妇夜哭、羁人寒起、鬼语秋坟”式的真正刺激，他觉得能像冷水浇背，让人凛然一惊，即是好诗。

就在徐渭顺着偏执的审美崇尚逐渐走向艺术的成熟时，生活开始展示对称于他内心激情的动荡。

“抗倭”的火光照亮了徐渭灵魂深处的晦暗渴求。

明政府从它所能考虑到的安宁、均衡的需要出发，在整体的国家政策上采取封闭的自给自足的方针。

但是，按照当时的社会情况，明代的生产无疑是先进和发达的，成熟的经济和技术大大高出日本、东南亚以及太平洋印度洋上诸多岛夷之邦的水准，“输中华之产，驶异域之邦，利可十倍”。

也许，正是一种富足而导致了保守，官方在东南沿海厉行海禁，最多只有一些礼节性的慰勉有加、张皇教化的访问与对方俯首称臣的朝拜。

尽管如此，地下的走私仍然无时或辍。利之所在，人皆趋焉。既然中华的物产不准输入异邦，内外走私的主要攻击目标就是富庶的物质产地——中国。走私如果不能便利地逃避明政府的稽查和堵塞，就只能以武力的形式进行掠夺。东南沿海资商为生的“游闲之辈”逐渐聚众为伍，连带勾结日本等地的职业武士，据岛劫掠，便酿成了所谓的“倭乱”。

嘉靖三十二年（1553年），这些被称为“倭寇”的海盗以中国人王直为首，首次骚扰绍兴一带，虏获细软财物无数。胆子越来越大，其势日炙，至于十数人为伍的小股力量，可以出浙江、入安徽、返江苏，招摇上千里，途径杭州和当时的陪都南京。坐地为王者，可以在沿海一带搜集蚕茧，勒令妇女缫丝。

明政府在东南沿海的军事部署低效短能。军户世袭，卫所的兵源编制严重不足，承平日久，将士中不乏花丛酒阵间的英雄和拖着鼻涕的孩子，组织松散、战术陈旧，缺少抵御能力，致使“倭寇”成为一种持久的祸患。可歌可泣的作战，反而出现于仓促聚合的民兵以及各地生员自发组织的保卫家乡的战斗情景中，徐渭曾身经数战。

他爱激动的个性与军事的攻守，似乎有一种天然的契合。他的出身也使他对于作战并不陌生，况且，他“生平颇阅兵法”。

有迹象表明，徐渭比直接主持军务的大小官吏们更主动勇敢和聪明地参加了柯亭之战、龛龙之战等等。为了制定真正有效的作战方略，他甚至舍生忘死，观察地形，了解敌方的装备、目标和战术。但是，他发现真正可怕的不是“倭寇”的机警、剽悍与随机，而是“肉食者”的平庸和怯懦。

不久，赵文华（严嵩的心腹）受皇帝旨意祷祀东海、督察抗倭事务，胡宗宪出任浙江巡抚，与赵勾结紧密。胡宗宪喜欢交结文士，徐渭的文采和韬略自然容易受到他的青睐，徐渭当然也愿意获得胡的信任和倚重。但他不耐衙门的俗气，而胡宗宪本人通过赵文华与严嵩结成的关系，也多少令他不安，他不能不处在尴尬中。

徐渭替胡宗宪出谋划策，应对文字，同时也有意识地表示某种程度的疏远。为此，他还特意到福建的富春山等地做千里的“羁旅”，“托踪蒲稗根，身共鸥凫梦”，享受青山、雪壑、寂野、繁花、老树、怪石的自然况味。还留心南戏方面的材料，辑成《南词叙录》，为中国戏曲史的研究留下了一份独一无二的文献。

就在徐渭逗留于福建时，赵文华回京复命。不久，胡宗宪擢为东南军务总督大臣。

第二年，徐渭的挚友沈炼在保安州为严嵩所害，一门被抄没。沈炼在保安州时，将严嵩塑为靶子，供自己辱骂射击，严嵩不能容忍沈炼愚蠢戆直的异端行为，正像沈炼不能容忍严嵩的专权独断一样。

徐渭为老友的死恸哭。

胡宗宪总督军务后，通过招降许愿和军事剿擒的双重手段，诱捕消灭了王直等海盗头目，前前后后，徐渭一直与胡若即若离地保持着接触，为他出过一些点子。同时，他继续在破屋中教书自给，维护着他那份孤寂骄傲的独立。

嘉靖三十七年戊午（1558年），胡宗宪接连几次召赴。徐渭勉为上任，正式成为胡的幕僚，条件是必须用对待客人的礼节而不是作为下属对待他。其实，胡宗宪的邀请不仅是对徐渭激昂之心的一种诱惑，以胡的身份，也是徐渭所无法推脱的。

诱擒王直后，倭乱并未平息，报复性的劫掠和残杀反而更甚。徐渭开始以比较系统的用兵和治兵方略参与胡宗宪的军务，更重要的工作是把胡的战绩和“心迹”著录为文，呈献上司、朝廷和皇帝。

入幕不久，有人在舟山捕获一雌性白鹿，胡宗宪为迎合嘉靖皇帝长生之梦，以此为灵物进献。之后，又捕获一雄性白鹿，再献。徐渭先后代作两表，为胡宗宪赢得不少赏赐。身为一方重臣，胡宗宪“一片冰心”的奉承，自然更令皇帝宠幸有加不致疑神疑鬼。而徐渭作表之功，胡宗宪显然记得明白，因为表奏文章恰如其分地漂亮以中嘉靖的心意并不容易，有人就曾为表奏文章写得“糟糕”受过嘉靖的廷杖。

徐渭的幕僚生活是极其潇洒的。文武将吏参见总督，莫不兢兢小心惴惴危惧，徐渭却一顶破巾，长衣大履，在衙中署里晃来晃去，肆无忌惮。有时幕中有事商量，夜深时仍不见徐渭，便洞开门面等候他。徐渭却在市中放声喧嚣，一场大醉。有人将此事告诉胡宗宪，胡宗宪说：“甚善！”

徐渭还依仗胡的权势，对曾经同他过意不去的人施与了异常快活的报复。他也特别喜欢与那些豪爽骁勇而天真烂漫的将士们往还，打猎、嫖妓、醉酒、比试骑射等等。在杭州，还有过一次受骗上当的婚姻，是一位王姓女子，恶劣不堪，徐渭恨恨地把她休掉了。

嘉靖三十九年庚申（1560年），徐渭作《镇海楼记》，替胡宗宪彰扬抗倭的丰功伟绩，胡赠银一百二十两，让他购置住宅。徐渭取宅名“酬字堂”，表达对胡的谢忱。

房子颇具格势，占地十亩，屋二十二间，小水塘二个，有鱼有荷、有树有竹、有花有果，徐渭常在此“网鱼烧笋、佐以落果，醉以咏歌”。

胡宗宪还为他聘定了继室，女子姓张，年轻貌美。

作为幕僚的同时，徐渭第八次，也是最后一次参加了乡试。据说，考前胡宗宪已向有关官员暗示过，可惜参与审卷的某县令因为被胡宗宪看不起而对胡有怨恨，便将徐渭的卷子批得满纸墨渍，待主考要再批时，已无从着笔。