取为秀才后，徐渭接着参加了乡试——考举人，不幸又落选了。

回到家里，徐淮已经为他应承了一桩婚事。对象的父亲是习“名法”，刚刚放任广东阳江主簿的潘克敬。潘克敬有所闻于徐渭的才名，只索少额的嫁资就答应将女儿潘似嫁给徐渭。徐渭很快就同行前往广州，在潘克敬阳江任上举行了婚礼。这一年，徐渭21岁，潘似14岁。

与潘似的姻缘，唤醒了徐渭童年时不曾体验过的细腻而温柔的情怀。潘似谨循妇道，细心柔顺，她看得出徐渭的多疑和猜妒，说话行事宽厚沉静，轻易不伤害他寄人篱下的敏感与自尊。潘克敬很爱护他的女儿，常常背着女儿的后母悄悄地给一些钱。

第二年，徐淮到阳江向徐渭通报了徐潞的死讯。徐潞是在绍兴屡试不中后，想走父亲的老路，利用军籍到偏僻落后的贵州应考，不幸却死在贵州。徐渭第一次深深地喟叹着“命”。

徐渭回山阴参加葬礼。不久，返回阳江。往返风尘中，他探访匡庐，漫游荆楚，登临南浦高台等名胜古迹。

然后，他又回到山阴。自己在山阴的家已不可能住，他无法忍受骨肉手足间无端的煎迫。住进了潘氏俞家舍。

徐渭开始以成熟的面貌在越中广泛交游。

他一出生就肥弱臃肿，长大后，依然是胖胖的身躯、胖胖的脸，一种羸不胜衣的神态。他的谈吐和见识却是锐利清爽的，他做不出那种冷漠超然的表情来掩饰自己易于激动的本性，他所结交的也正是一些同他有着类似性情和志向的自恃过人者。

沈炼（青霞），有和徐渭几乎相同的身世，隶属军籍，好谈兵事，倔强刚烈，性格外向。嘉靖十七年进士，做过锦衣卫。北方的俺答入寇京郊时，竟日参玄礼佛、渴望入道成仙而常将少女的初潮炼成丹药进服的嘉靖爷仓促临朝，商议对策。沈炼身居下僚，多次上书，愿意领兵作战，以挽救颓败。但是，任何政事，其核心都在人事，据说，沈青霞的慷慨出头，让权臣严嵩很不高兴，对此记恨在心。沈则不满严嵩辈平庸奸巧的谄佞专权，上疏论严嵩十大罪状，要求诛严以谢天下。虎头拍蝇，沈炼受廷杖四十，皮开肉绽，削职为民，发配西北保安州监管。

徐渭为此写下了他早年最漂亮的一首诗：“终军愤懑几时平，远放穷荒尚有生！两疏伏阶真痛哭，万人开幕愿横行”。他的关切并不能改变沈氏的命运，也不能改变沈氏一泻千里的愤怒和倔强，沈炼在保安州继续抨击严嵩及其党羽。

徐渭盛赞沈炼“以奇惊一世”。

沈炼也曾高度赏识徐渭。他说徐渭“关起城门，只有这一个”。

陈鹤，是在徐渭之前，山阴最负盛名的诗人。此人对于愉悦生命、放达性情的“游戏”钟爱不疲，骚赋词曲、草图书画，无不名家。“吴歈越曲，绿章释梵，巫史祝咒，棹歌菱唱，伐木挽石，薤辞傩逐，侏儒伶唱，万舞偶剧，投壶博戏，酒政阄筹，稗官小说，与一切四方之语言，乐师蒙瞍口诵而手奏者，一遇兴至，身亲为之，靡不穷态极调”，在他面前，没有等级的壁垒，没有文化上的迂阔偏见，没有忸怩的顾盼，生命奔逐在一片艳冶世俗的光景中，以致为此辞去了世袭百户的军官职务。

与徐渭往还的还有“薄世俗，有物外想”，旷达不忌酒色的少年同学萧女臣；“不以科举为事，自放于山水之间”的杨柯，等等。他们一起被称为“越中十子”。

意气相投的交往是自然而深情的。

他们不再以陈腐、琐碎的方式恪守不苟言笑的道德，在轻松而满不在乎的调笑中送走了日月。有时，他们也怨愤、郁闷和绝望，但那是一种摆脱重负后的感情的纷乱，一种世界在握的轻蔑、骄傲和英雄气概。

不幸同时在狂漫中降临。

嘉靖二十四年，徐淮服丹药中毒身亡，留下一场与乡绅毛家的理不清的官司，连观巷内的老屋也成了别人家的财产。

嘉靖二十五年，徐渭第三次乡试失败。妻子潘似在为他生下一个儿子后肺病加重，这年冬天去世。这时她才19岁。

徐渭陷入茫然的空虚和愁惨中。