米芾心中的云霓只是一个虚幻的世界，纯粹精神性的世界。

发生过这么件事：

绍圣年间，米芾尝为涟水军使（今江苏省涟水县），此地向西南不远，就是远近闻名的灵璧（在今安徽省）。灵璧的出名是由于它的磐石。这种石料质地精良，叩之作金玉之声。唐人采之，制作磐。磐石中又有色泽美润，形态奇巧，玲珑如峰峦的。正是这一类石头，像主人似的占据了米芾的官署。米芾费尽心思，毕恭毕敬地把他们弄进衙门，弄进后园，弄进居室。一尊一尊地加以评骘品鉴，选择世间语言中最美好的字眼逐一为他们命名。

这项活动能让涟水军使整天把自己关在后院不出来视事。于是按察使杨某风闻了这位极不称职的下属的作为，赶往涟水履行自己纠察的职责。他辞色俱厉地对玩物丧志的米军使说：“朝廷以千里付公，汲汲公务，犹惧有缺，那得终日弄石！”

米芾不止一次地遭到过这类呵责，他在官场的黯淡光景也与此大有关系。

然而，这正是米芾之为米芾。他没有理会，也几乎不怎么理会这些谴责、申斥和鄙夷。他的灵魂正是在这些令人不耐的声色里悠悠进入另一个境界。必须远避尘嚣的山林田园，无须什么万念俱息的苦寂修炼，他便能够像一个梦游者，像神魔附体，像老僧入定一样，在公务冗繁、人濑喧嚣之中让自己悠然升入另一空间，另一片热土。

崇宁二年（1103年），米芾正在短暂的无为军（今安徽无为）任中。濡须水经过无为境内东入长江。米芾闻知河畔有一块异石。这石不知从何而来，忽然一日间出现在水边。由于它来历的神异色彩，没有一个人敢去触犯这块外形美妙足供清赏的怪石头。米芾以地方父母官的权威态度，命人把祸福莫测的石头移到州治，以求朝夕相伴。运石的人进了州衙，米芾叫人把异石安置在庭中，自己盥浴更衣，设席拜于庭下，高声祝道：

“吾欲见石兄二十年矣！”

自此之后，米芾的名字便永远同怪异的顽石联结在一起了。

“米癫拜石”成为当时与后世腾嚣众口的趣话，成为历代画家最珍爱最典范的画材。与“太白醉月”“张癫狂草”等等一样，成为一种凝定的象征体。濡须水边的顽石是无生命的，而它却呼唤和反射了一个极其旺盛，无比激昂的生命，一个只为着高超的精神追求而存在、而颤动的生命。

米芾为这段独具性格的佳话付出的代价是失去了无为军的官职。他拜石的事受到了言官弹劾：无为军知州公然把一块莫名其妙的怪石头请至官厅奉之上座，口称兄长，礼赞跪拜，这样疯疯癫癫的行为难道是一位受命于天子的现任官员所能有的吗？

而米芾的癫狂是不可救药的，它是从血液里带来的痼疾和偏执。他沉醉在自己营造的一片瑰丽璀璨的天地里，丝毫也不理会天地之外的人们对自己投来的各种眼光。

米芾曾得到僧㪀周的一尊端州石砚山，石体参差，天然呈峰峦状，峰峦下的山麓可以受水研墨。新主人面对着这件名贵的爱物竟然手足无措，不知如何是好。最后只好抱着它，和自己枕席相伴，同眠了三日。他在回绝朋友向他索取一方石砚的书札里，直接把那石砚当作自己的头颅：“蒙您赐教想要索取我的宝砚。要知道被取去心的人就成为失心之人，失去头颅的人就成了项羽啦。宝砚原是米芾的头，是谁挑唆您来索取它，事须根究。倘若您非要米芾的头颅不可的话，自然也只得双手摘下呈上让自己变成无头的项羽，永远沉沦在乌江。然而那样，我却成个什么样子呢！”

他的另一座心爱的砚山被密友薛绍彭以他物换去。此石一旦归彭所有，即使米芾专程拜会恳求出示一观也不可得，这使得砚山旧主人极其心痛，赋诗一首，以寄眷眷之思：

砚山不复见，哦诗徒叹息。