明正德十六年（1521年）二月初四日是徐渭的生日，降临人世的第一声啼哭是从山阴县城（今绍兴）的观巷内发出的，声音暗弱，像是一个不愿意诞生在这个尘世上的小生命。父亲已经老态龙钟，母亲是家中的侍妾。

他的祖辈曾入军籍，隶属贵州龙里卫，当兵的其实是徐姓同宗的另一支。但按照明代军籍世袭的规矩，徐渭的父亲徐鏓利用贵州军籍于弘治二年中举，正统七年做过四川夔州同知，几年后还乡。徐鏓的元配夫人童氏生有二子，徐淮、徐潞，童氏死后，徐在云南续娶苗氏夫人，比徐淮兄弟大十来岁。徐渭的生母是苗氏夫人的婢女。庶出的身份难免尴尬，又比两位兄长小得太多。

徐渭生满百日，衰病不堪的父亲便去世了。侍妾身份的生母并不受家庭的尊重，不久甚至被主母苗氏所驱逐。

没有父亲的镇摄，家中的景况也日趋暗淡。作为主母的苗氏与徐淮、徐潞并无情感上的联系，难以形成支配的地位。徐淮是位不太务实的散宕哥儿，父亲死后，携资云游四海，一面经商，一面求仙炼丹，买卖不善，炼丹又费钱。徐潞也疏于务实、懒于持家。苗氏远离云南的故园和水土，混乱的大家庭又不容易支持，她十分讨厌越中的人情风物，而对徐渭寄予厚望，却并不能够细心地体谅他正在感受到的屈辱，生母被逐，对于兄长而言，迟来的他似乎是多余的。

他不能不更多地形成偏执、多疑与对抗的个性来维护他的敏感和自尊。

徐渭4岁时，长嫂杨氏过世，他像小大人似的迎送来往的吊唁者，显示出早熟和聪慧。

嘉靖五年（1526年），徐渭6岁，入塾读书。他有出色的记忆力，几乎过目成诵。8岁能做八股文章，先生大为惊讶，认为他是“先人之庆”“徐门之光”“谢家之成梁宝树”，这可能滋长了他近乎夸张的自信。

10岁那年，属于徐渭名下的两个奴仆因为徐家的不景气而逃跑了，徐潞带他去见山阴县令刘昺告状，刘昺很欣赏徐渭伶俐乖巧的应对。问他做什么功课，徐渭说：“能做举子文字（八股文）已两年。”

刘当场拟题，命做文章，徐渭捉笔写来，从容自信。刘昺看了着实称赞了他一番。又问：“童子何师？”

“姓王名政。”

“教汝读何书？”

“读程文（官方规定科考的范文）。”

“务在多读古书，期于大成，勿徒烂记程文而已。”

刘昺的话，或许是过于通达了，特别是对于一个孩子来说。徐渭以后十年不读八股文，这当然也是他的气质所决定的，待他重新省悟到，八股文对于身家性命的重要，他已经无法收回他旷达、浩渺的情思了。

徐渭巧心地读书，也巧心地游戏着童年。竹马裲裆，在小巷里玩得风尘缕缕，击剑抚弓，骑马驰射，常常跌得鼻青脸肿。

他还跟随同乡前辈学琴打谱，随武举人彭应时学剑。在他少年的心性面前，世上的一切都是可能的，包括他所必须成就的功名富贵。即使不可能，也并不挂心。

他的阅读是广泛的，经史百家、秦汉古文、老庄诸子、仙释经录及古书法，琐至稗官小说。在山阴，他甚至有了小小的文名。

嘉靖十三年（1534年），徐渭14岁。苗氏夫人在悒郁中病逝，徐渭磕头流血，三天不食，为她祈祷，却没有挽回这位唯一能够保护自己的主母的性命。只能随长兄徐淮过活，他变得拘谨而敏锐，也变得放任而冲动。

20岁前，徐渭参加了一次考试，没有通过。20岁时，他在徐淮可能已极不赞赏的眼色下，又一次考试而仍然没有博得起码的秀才资格。他把自己所有的狼狈与苦闷写在了给浙江提学副使张和的信中，要求给予复试的机会。他说：徐渭时乖命蹇，从小就生长在孤苦伶仃中，希望通过科举来拯救自己，但刚下场就遭摒斥。托靠兄长生活，箕豆相燃，徐渭日夜发愣，只看到自己的身子和影子，别无所有。请求给予片刻光阴，自信万言可待。涸辙之鱼，望济以清凉之水。如果真是昏愚之辈，徐渭自当负石投渊，入坑自焚，不敢俯首匍匐，苟活偷生。生死系于大人。

这是一份没有退路的申诉。