妻子丧毕，徐渭决意离开潘家，免得睹物伤怀。

离开时，他没有带走一件东西。

苦闷的流浪后，徐渭背一柄剑，挟几卷已经灰败的教科书，住进了他在城东租下的茅屋，取名“一枝堂”，借用庄子的意思，以示对这个世界的要求并不高。房子很破，四面漏风，一声喷嚏都能使它索索抖动，响声却早已传到街面上。他在这里招收学童，教书自给。

自欺欺人的经书讲解之余，徐渭师事季本，钻研“心学”，寻找悠然心会的证悟。

“心学”迎合当时士子们对于理学的普遍怀疑，成为了众多苦闷者的共同归宿。因为“心外无物，心外无言，心外无理，心外无义，心外无善”，“心学”家主张把刻板地向古圣先贤看齐的无聊修炼返诸人的内心，由自己的“良知”来引导，舍此的一切都不免虚伪和贫乏。

季本曾做长沙知府，忠于职守而严厉峻刻，遭弹劾后回山阴聚徒讲学。心学领袖王阳明曾告诫他“看经书当取有益，于学一涉拘执比拟，则反为之束缚”。季本虽然心许于王，却为“心学”于齐家治国之道越来越离谱而感到惶惑，乃著书百万余言，以图挽此“流弊”。

徐渭由季本领入“心学”之门，却更加服膺于王畿，将王列为“师类”第一人。王的学说与禅宗思想几近，强调无善无恶的本心本性，主张不作过多人为的调节束缚。徐渭在25岁以前，自称是“疑佛谤经者”，慕于道而接近“心学”，“心学”既然类似于禅，又转而叩禅。他的孤傲、偏激、自卑、倔强而积聚着辛酸压抑苦痛的内心，其实依然是漂泊不遇的。他需要的是一种能够满足他心性情思的智慧，而不是用逻辑论证的定律。

他曾经尖锐地讽刺官方规定的精神导师朱熹。他说，朱熹把定自己的准绳，只要人们说他是个圣人，没一点儿破绽。要求别人的时候苛刻霸道，人人不中他的意，事事不称他的心，无过中求有过，谷子里挑米，米里面择虫，自然而然的人被他琐碎地规定训导得支离破碎，远不如自在而潇洒地做人作文的苏东坡。

徐渭的心性手眼，显然已无法与来自世俗的要求相一致。为了解救贫困，他又必须心存侥幸地参加政府三年一度的乡试。

考试是一如既往地认真的。开考前，不管天气如何，秀才们都必须整齐地排列在露天，解开衣衫，由一名军士从头巾到鞋袜摸索一遍。考试时，森严肃静，连去大小便也不自由。

徐渭在第五次乡试前的预考中列为第一，提学副使薛某判徐渭的考卷为“句句鬼语，李长吉之流也”。尽管如此，薛某仍然赏识他，将他增补为县学禀膳生，即每月可以支取一点儿政府补贴的粮食。

可惜，在接下来的正式考试中，徐渭并没有收获，落魄而返。当有人告诉他他的头上已见白发时，32岁的徐渭，懊丧得不能自已，作《涉江赋》，替自己进行庄子式的无可奈何的宽解，却字字句句含着辛酸。

其时，徐渭已经把分别近20年的生母接来同住，表达他微弱的孝心。他还在杭州住过一段时间，读书自如，有人提供伙食并且与他甚为相得，要为他介绍一严姓女子作继室。徐渭因为疑心严氏有些呆傻而拒绝了。后来，严家遭“倭寇”洗劫，严翁被杀，女儿被掳而自尽。徐渭感于她自杀的勇气和贞烈而失悔自责。

徐渭开始学画，这是一个他并不过分存心却行将光芒四射的世界。天赋的卓越与苦难的荡涤，培育出了他不同凡响的审美品格。此前，徐渭已涉足于戏剧领域，在这方面，他所留下的文字，贡献并不亚于戏剧大师汤显祖。

本色而激昂的杂剧《四声猿》是徐渭早年的手笔。其中包括《雌木兰》《女状元》《狂鼓史》和《玉禅师》。

《雌木兰》和《女状元》写的是女人的大丈夫作为。花木兰以女身寄于军旅立下赫赫战功，天然地富有戏剧性；男装的女状元才智过人，惹出联姻的纠葛，成为日后戏曲中常见的范型。《狂鼓史》讲三国时一副桀骜骨血的狂士祢衡裸身骂曹操，骂得淋漓尽致。

《玉禅师》的故事较为曲折:南宋年间，临安水月寺中的高僧玉通没有参拜新到任的府尹柳宣教，柳记恨，支使妓女红莲在一个风雨之夕扮作良家女子入住水月寺，玉通苦苦修行20年却终于禁不住红莲反复的挑逗而破了色戒。他知道红莲的用意后羞愤而死，怨魂投入柳妻腹中，生女名柳翠，沦落为娼，败坏柳家的门风。玉通的师兄月明和尚访柳翠于西湖，以哑谜说法，点破前生的业缘。柳翠感悟，修成正果，与月明同行而去。