他是个性最为特立独行的才子，其性格生成的原因来自原生家庭。
他的父亲徐鏓曾担任四川夔州府同知。徐渭是小妾所生，他出生不足百天，徐鏓就去世了。徐渭由嫡母抚养成人，他十岁时生母被逐出家门，从此骨肉分离。他十四岁时，嫡母去世，徐渭跟着长兄生活。两人年龄相差三十多岁，又非一母同胞，相处不是很愉快。
徐渭从小得不到亲生父母疼爱，始终有寄人篱下之感。所幸他聪明好学，六岁读书，九岁能文，时称神童。一边是在家庭不受待见，一边是乡邻大加赞赏，徐渭渐渐形成了孤傲自赏，郁郁寡欢的性格。
相比前两位才子，徐渭更加命运多舛。
他二十岁他考中秀才。此后，连续八次参加绍兴府乡试，始终未能中举。
他二十一岁成为赘婿，二十五岁时家庭财产被土豪霸占。一年后，妻子得病早逝。
家破人亡，功名不就，徐渭“震往来厉，意无丧，有事。”正在他彷徨无计之时，公元1554年，倭寇进犯中国沿海，绍兴府首当其冲。徐渭先后参加多地战役，出谋划策，显示了了出色的军事才能。五年后，浙直总督胡宗宪将其招入幕府，担任行军参谋。
徐渭为胡宗宪上《进白鹿表》，得到明世宗赏识。自此，胡宗宪对他更为倚重。徐渭随总督府移驻沿海驻地。他“知兵，好奇计”，为胡宗宪出谋划策，助其擒获倭寇首领徐海，招抚海盗汪直。
然而，权臣严嵩被免职后，依附严嵩的胡宗宪受到弹劾，幸因平倭有功，免罪而去免。徐渭“震索索，视矍矍，征凶，”离开了总督府。期间曾应礼部尚书李春芳之邀来到京师任职，后因性格不合辞归故里。李春芳不能容忍徐渭主动辞职，威胁他如果不回来就治他的罪。徐渭只好回到北京，请朋友居中调停。
胡宗宪终究被构陷致死，他的幕僚有数人受到牵连。徐渭本就个性偏激，此刻因悲伤、愤怒、担忧、害怕而发狂。他写了一篇文辞愤激的《自为墓志铭》，然后用铁钉自刺耳窍，未死。不久又用铁椎自击肾脏，依然不死。
他的命出奇的硬，反复自杀九次之多，却总能奇迹般的活下来。然而“震不于其躬，于其邻，”他因怀疑继妻张氏不贞，再次发狂将妻子杀死。徐渭“婚媾有言”，因此被关入监牢，服刑七年。他在狱中完成了《周易参同契》注释。
徐渭入狱后，友人纷纷出手相救，其中包括状元出身的礼部侍郎诸大绶，翰林编修张元忭等等。在大家的帮助下，徐渭终于借明神宗即位大赦的时期获释。此时他已经五十三岁。
出狱后的徐渭因为个性原因，生活贫困潦倒。当他七十三岁去世时，身边唯一只老狗相伴，床上连一卷席子也无。