士族向来有免税权，因此他们多兼营商业。东晋山阴的豪强士族，开设店肆，隐漏估税，拥有贸易厚利。谢安有一同乡罢官从广州回建康，带来蒲葵扇五万把。谢安取一把自用，建康士人就争出高价购买，该同乡获利数倍。士族还享有免役特权。齐朝与北魏接境的扬、徐二州，人丁服军役三中取二。为逃避繁重的徭役，民众被迫或自斩手足，或投靠士族为奴，称为“属名”，附属于士族户下，为户主服役，比服官役稍轻。
这种等级森严的士族制度，选任官吏既不问文武才能，也不必看吏治考绩，只要凭借有好祖宗，靠祖上资荫，便可“平流进取，坐至公卿”。梁时流行一句谚语：“上车不落则著作（郎），体中何如则秘书（郎）”。意思是说，那些士族子弟生下后，只要到坐车掉不下来的年龄，便可做著作郎；只要会写两句信中问候的客套话，便可当秘书郎。士族子弟在经济上有世传的丰厚祖产，在政治上不必操心费力，高官厚禄便会到手。祖荫营造优裕的环境，他们必然被娇惯得极其腐化、愚昧、脆弱。他们不懂“战阵之急”、“耕稼之苦”、“劳役之勤”，对人间事务一无所知，而终日只知清谈，纵情声色，肆意游荡，醉心于奢靡朽烂的贵族生活。这些纨子弟，一个个“熏衣、剃面、傅粉、施朱”，打扮得妖里怪气，还要装得“从容出入，望若神仙”。这种臭气熏人的形象，正是整个士族地主阶层已经完全腐朽的缩影。到了南北朝后期的梁代，江南士族已传至八九代，生活全靠俸禄，从不自己耕种田地，田地交由奴隶佃客耕种。他们不知如何起土，怎样耘苗。人世事务，全然不懂。所以做官不成，管家不行。梁朝士大夫，出门坐车轿，走路须人扶持，官员骑马便会被人上表弹劾。建康县官王复未曾骑过马，见马嘶鸣，惊骇失色，甚至惊问道：“正是虎，何故名为马乎！”这些门阀子弟甚至连书也不读了，“明经求第，则雇人答策；三公九宴，则假手赋诗”。正是如此腐朽，及至梁末侯景之乱时，那些士大夫们肤柔骨脆，不堪行步，体虚气弱，不耐寒暑。因难得食物，饿成鸠形鹄面，他们还是穿罗绮、抱金玉伏于床边，坐以待毙，死亡无数。
东晋是门阀制度发展最充分、门阀势力最强大和猖獗的时期。进入了南朝之后，虽然士庶之间的区别严格到了“天隔”的地步，几乎成为不可逾越的鸿沟，但这并不表明门阀士族的强大和稳固，相反表明门阀制度从此开始走下坡路，门阀士族的地位正在受到新兴寒门地主的威胁，所以才用这种深沟高垒来保护自己。
门阀士族衰落的原因，一是他们本身腐朽，上面已经举了许多例子。二是农民起义和统治阶级内部的打击。孙恩起义，使大量门阀士族受到严惩，他们在军队中的实际领导权也被剥夺了，这是门阀制度由盛转衰的重要标志。西魏攻破江陵时，被俘的士族完全被当作奴隶用来耕田养马。隋朝灭陈时，又把南方士族全部迁入京师长安。至此，南方士族的乔姓、吴姓都已不复存在。三是寒门地主的兴起。寒门地主是指没有获得士族身分和特权的庶族地主，他们主要由地方土豪和商人转化而来。刘宋以后，门阀士族全面腐朽，寒人掌握了机要大权。如刘宋政权中的寒人戴法兴，民间称他为“真天子”，而把皇帝叫做“赝天子”。在南朝，军权也始终掌握在皇室和寒门出身的武将手中。在经济上，寒门地主则通过“改注籍状，诈入士流”的手段分割士族的经济特权，而当时要买一个士籍并不很贵，只要花一万钱就行了。总之，门阀的衰落既表现为门阀地主集团的不断被削弱，也表现为门阀特权的被瓜分，从而造成这一制度的危机。