弘治十八年乙丑（1505年），唐寅36岁，建桃花庵别业（只是几椽茅舍，数枝桃花）于金阊城北桃花坞。尝作“桃花庵歌”云：

桃花坞里桃花庵，桃花庵里桃花仙，

桃花仙人种桃树，又摘桃花换酒钱。

酒醒只在花前坐，酒醉还来花下眠。

半醒半醉日复日，花落花开年复年。

但愿老死花间酒，不愿鞠躬车马前。

车尘马足贵者趣，酒盏花枝贫者缘。

若将富贵比贫者，一在平地一在天。

若将贫贱比车马，他得驱驰我得闲。

别人笑我忒疯癫，我笑他人看不穿。

不见五陵豪杰墓，无花无酒锄作田。

这位“桃花仙人”大智若愚的平静仿佛是和缓的、长久的、惬意的。日常的功课是读书、灌园。曾是别业中常客的文征明有一幅《兰亭修禊》传世，追记晋代高贤们诗酒雅集的情形，这也是当年桃花庵常有的景象的一个写照。

这里的主人总喜欢享受“家无儋石而客常满座”这样一种贫困中的富有。园中踪迹最密的大概除了与唐寅的名姓无法分开的祝枝山、文征明以外，还有后来和唐寅成了儿女亲家的书法家王宠，唐寅的同乡前辈、此时解官在家的王鏊，与唐寅亦师亦友的吴门画派领袖人物沈周等人。

有诗和酒，有遂心的言谈，一个本无多求的人似乎再找不出什么理由不酲酲醉去了。

然而，有时也会发生这种事情：

轩前庭半亩多种牡丹，花开时，（主人）邀文征仲、祝枝山赋诗浮白其下，弥朝浃夕（无日无夜），有时大叫恸哭。至花落，遣小伻一一细拾，盛以锦囊，葬于药栏东畔，作《落花诗》送之。

这部分情节成为两个半世纪以后清人曹雪芹撰写《红楼梦》里“黛玉葬花”那一段绝世文章的启示。这样，溶解了九万多个日子的同一种土壤里，先后掩埋着属于两个倔强生命的诗句和岁月，掩埋着欲愿和不平，以及为这一切而溢出的汩汩泪水。