20年的仕宦生涯，既为人臣，又为人子，还为人父，李贽一直觉得空落落地难受。他已决意不再做自己不想做的事，徒耗性命。

与相知老友耿定理、耿定向于黄安相聚，他也不再回到泉州。理由很清楚：“在家不好修道乎？缘我平生不爱受人管。夫人生出世，此身便属人管了，幼时不必言，从训蒙师时又不必言，即长而入学，即属师父与提学宗师管矣，入官，即为官管矣，弃官回家，即属本府本县公祖父母管矣，来而迎，去而送，出分金，摆酒席，出轴金，贺寿诞，一毫不慎，失其欢心，则祸患立至，其为管束至入木埋下土，未已也，管束得更苦矣。我是以宁漂流四处，不归家也。其访友朋，求知己之心虽切，然已亮天下无有知我者，只以不愿属人管一节，既弃官，又不肯回家，乃其本心实意。”

李贽在耿定向、耿定理为他安排的“天窝书院”讲学教授耿家子弟，有时与远道而来的罗汝芳、焦竑、周折塘等朝夕相从，讲习不倦。书院在五云山之巅，去城十多里，寂寞无侣的时候，李贽批阅经史典籍，与古人相会于书中。

他喜欢用一种反世俗是非的方式看待历史上的忠奸贤愚，史书上赫然记载的圣人贤人，他往往觉得索然呆板，而遗臭万年遭正人君子唾弃者的精神巧思，反令人意动心羡。他理解人性的构成绝不仅仅是种种空虚的伦理标本，而包括“富贵利达”的趋求：“寒能折胶，而不能折朝市之人；热能伏金，而不能伏竞奔之子，何也？富贵利达所以原吾天生之五官，其势然也，是故圣人顺之，顺之则安之矣。是故贪财者与之以禄，趋势者与之以爵，强有力者与之以权，能者称事而官，懦者扶持而使，有德者隆之虚位，但取具瞻，高财者处以重任，不问出入。各从所好，各骋所长，无一人之不中用。”

既然“富贵利达”的要求是一种必然，那么，“耕田而求食，买地而求种，架屋而求安，读书而求科名，居官而求尊显，博求风水以求福荫子孙”，就丝毫用不着假托仁义道德国家天下的虚饰装潢。否则，谦谦君子“反不如市井小夫，身履是事，口便说是事，做生意者但说生意，力田者但说力田”，此乃有德之言，凿凿有味。

自然，这并不意味着李贽全盘肯定了种种“人欲”的合理性。他只是看到在道德的“不朽”旌旗下，在高尚的教养与严肃的修身中，成长得更多的是保守、简单、肤浅、僵化和愚蠢，更多的是拘谨、平庸、雷同、虚伪和欺诈，是王朝不堪收拾的离散和颓堕，是人心自古而然的阳奉阴违。至少，在当时衮衮诸公手中怯懦地摆弄着的孔孟之道已大大丧失了领导和改造社会的积极性，而成为限制和窒息生命的牢笼，“其流弊以至于今日，阳为道学，阴为富贵”。

李贽大胆地认为“穿衣吃饭即是人伦物理，除却穿衣吃饭，无伦物矣”“夫天生一人，自有一人之用，不待取给于孔子而后足也，若必待取足于孔子，则千古以前无孔子，终不得为人乎”，这种认识的哲学意义，足以让人觉得它就是一种新的意识形态的萌芽。

但是，在李贽尚且只是试图以自己的思考来达成自己生活方式上的自由时，他已经受到了阻击。

阻击首先来自世俗化了的做人的准则。

万历十二年（1584年），耿定理去世。他曾经总是能够以自己宽阔的胸襟与不偏执的渊博见识，并且用他特殊的智慧态度与方式，来调解他的兄长耿定向与李贽的冲突。现在，耿定向即使能够理解李贽的放任，却不可能完全容忍李贽以开悟者的姿态去培养他的子侄们的叛逆性，因为这样他们可能生长一种“败家子”式的人格和趣味。

在耿定理去世的同一年，耿定向被召回北京，任左佥都御史。这里面可能有一个很隐晦的戏剧性情节是：耿定向在家信中向自己某一个兄弟透露了他的忧虑，他担心自己的子侄们过于效仿李贽而迷误了他们的前程。李贽偶然知道了这件事。也可能是耿定向直接向李贽表达了自己的意思，希望李贽能慎重对待。李贽当然不能接受这样的教诲和指责。

万历十三年（1585年）三月，李贽前往麻城，住进维摩庵。三年后，他又搬到龙潭湖的芝佛院。

在此之前，他已与耿定向多次函件往还，辩论怎样才是真正“学好”“学孝学悌”“学为忠信”，怎样才是“取善”之法。

李贽认为耿定向“病在多欲”，左顾右盼，想做自家的事，又要时时用大帽子掩饰，结果就丧失了本真的心，也丧失了人生的自在。人有时不免白天说梦话，而耿定向却是梦中也要说大白天才可能说的话。虚假的“乡愿”，终不可得道，真实的“狂狷”，反而离道更近。

耿定向认为，李贽以立异来标榜自己的人格，立异的目的绝非仅仅是为了立异，放浪形骸，不服管束，而是为了博取超凡脱俗的美名，于家于国无益（其实，李贽早已不要家了）。

李贽愿意为自己心许的自在人生，放弃耿定向对他的敬爱，放弃因为耿的敬爱而带来的“官吏师生俱来敬我”的“何等快活”的好日子，他甚至由此而更加伤感地认定：不仅天下无有知我者，而且世上并无朋友，朋友之间不能“犯颜相谏”，而君臣之间却能够以死相搏，因为那是利之所在，人都是不免为利所动的。

李贽到麻城后，写《与耿司寇告别书》。他说家人思归，只好把他们打发回泉州，自己将行游四方。