“文人无行”，有人用这句话把全体文人说成一群无赖。而米芾式的无赖，却纯然出于一种可怜的癖好。

他所酷爱的这种东西，似乎无关乎济世兴邦，无关乎衣食饱暖，但却有这么多人把它看得比人间富贵珍奇百倍，甘愿为它倾尽个人所有的全部情感和心血。这些人就被称为艺术家。米芾身上的道德缺陷，都是属于艺术家的心理病态，一种由于忘我的、志在必得的精神欲求而产生的心理病态。

米芾藏有一本极其珍爱的《王略帖》，为王羲之书。这本帖原来的主人是蔡攸：米芾在真州时，一次登船谒见蔡攸。蔡取出《王略帖》相示，米芾一见，不觉失声惊叹！当即恳求以自己的藏品换取。蔡攸有难色。米芾抱着字帖，大呼着奔向船舷，做出即欲跳江的姿势，说：“生平所藏从未有如此绝妙的神品，既不能得到它，活着还有什么意趣！”蔡攸自然熟悉米癫平日的狂悖行径，然而却也为这种狂热的无赖所感动，于是米芾得到了《王略帖》。

当然，也会有不易被感动的人。

米芾一次向关长源请求换取他渴想已久的唐摹虞世南《枕卧帖》，长源表示必须得到米芾所藏的陆探微《狮子图》才行，米芾答应了。长源又表示：“此画不足当此帖，更得公案上盈尺朱砂乃可。”米芾又连忙答应。长源最后说：“细思二物，皆有愧于虞帖，非得公头不可！”对这样扫兴的尴尬事，米芾会长久地耿耿于怀。他在自己撰写的《画史》中别有用心地写道：

“今人收一物与性命俱，大可笑。人生适目之事，看久即厌，时易新玩而适其欲，乃是达者。”

只有对米芾一无所知的人才会相信这种“达者”的口吻。

米芾众多的事迹中几乎没有一件能表现出他的慷慨风度。对于他癖爱的对象，米芾的吝啬，会使人想不出还能有更极端的方式。一次米芾自己装裱李邕《光八郎帖》，不料揭起时粘了一分墨在金漆的书案上，这使得他心痛得一个月不肯洗去桌上的墨迹。

与米芾交情深厚的苏轼回忆说，元祐四年（1089年）六月，曾与章致平一同往见米元章。两人欲求得米芾那些从不示人的珍品一观，于是章致平尖刻地说道：“长公，您曾见过这样的人么：当有密友请求一看他所收的书帖时，不到万不得已，他才自己亲手打开箱箧的重重扃锁，然后摸摸索索取出一轴，两只手提着，离开你一丈多远展开。若是想稍微看清楚一点，只要你往前迈一步，他就会立刻把那字帖收进去——您见过这么小家子气的人么？”

米芾听到这么入木三分地揶揄自己，才解嘲地笑着，取出“二王”、怀素等的十来帧帖子。苏、章这才知道，米芾平时肯拿出来示人的都不过是些聊以搪塞俗人眼目的东西罢了。而章致平的话也并非夸张，米芾让人观看字画的办法实际是：

洗净两张书案并排放置，铺上干净的纸缫之类的。米芾恭恭谨谨洗了手，亲手从箱箧中取出藏品，置于案上，客人凭几而坐，从容细看，而米芾很殷勤地操持于案旁。一切自己经手，只容客人眼观。客人叫展开，米芾即展开；客人说卷起，米芾即卷起。客人据案观赏，姿态雍容像尊贵的主人，而米芾弓腰曲背劳碌趋走像一名谦卑的奴仆。

米芾之所以乐于从事这样奴仆式的服务，据他自己说，“实惧客人以手指点、衣袖印拂之。偶一及之，必洗书如初。纸素不可以数洗，必欲戏一触之，是毁书也”。