就在公孙瓒自得意满之时，刘虞的部下从事鲜于辅等人，悄悄集结幽州兵力，准备一起报复公孙瓒，为刘虞报仇。
燕国阎柔，从小在乌丸、鲜卑做俘虏，后来得到胡人信赖，共同杀死护乌桓校尉邢举，推举阎柔为护乌桓校尉。鲜于辅、齐周、鲜于银等人因为阎柔的名气，推举阎柔为乌桓司马。
阎柔招揽胡人、汉人联军数万人，与鲜于辅等幽州兵共同进攻公孙瓒麾下渔阳太守邹丹。邹丹不敌，麾下四千余人被斩杀，包括邹丹自己，也被临阵斩杀。
刘虞在世时，对胡人、汉人都是实行安抚政策。乌桓峭王感念刘虞的恩德，率乌桓、鲜卑等族七千多骑兵与鲜于辅合兵一处，共同迎接刘虞的儿子刘和来主持大局。
恰巧，袁绍派大将麴义征讨公孙瓒。几方联合，十万大军奔赴幽州。
公孙瓒听说几方联合十万大军，也是心中惊诧。不过，他向来自负，且勇力过人，根本就没把对手当回事。当下聚兵点将：“诸君，今日传来消息，麴义、刘和等人率十万大军奔我幽州而来，请诸君共同努力，击溃敌军。”
一听十万大军，底下“嗡”地一下炸开了。
公孙瓒看大家议论不休，立即大怒：“众位难道是害怕了吗？你们是骑不动马了，还是提不起矛了？跟个娘们儿似的，叽叽喳喳。”
众人听公孙瓒这么说，赶紧表态，将来犯之敌杀个片甲不留。
双方军队在幽州、冀州边界屯驻，展开拉锯。终于在兴平二年，让麴义给抓住机会，在鲍丘将公孙瓒的主力部队给围住。由于公孙瓒的自负，结果大败亏输，一仗下来，光是被斩首的就有两万多人，这还不算受伤、走失、投降的。
公孙瓒退回易京，在周围开展屯田，以解决军粮开支。麴义率领联军围困易京一年多，也没攻下来。可是，军粮渐渐不支，士卒饥饿困顿，麴义只好暂时先退兵。公孙瓒趁机出城，打破麴义，将联军辎重全部俘获。
点儿背的时候，喝水都塞牙。本来就兵败困顿，偏偏又赶上大旱，蝗虫遍野，百姓苦不堪言，出现人吃人的现象。这种情况下，公孙瓒竟然不是想着赈灾、安民，而是继续横征暴敛，侵略百姓。于是代郡、广阳、上谷、右北平等各地，百姓纷纷揭竿而起，杀死公孙瓒任命的官吏，响应鲜于辅、刘和。
凡是州里有名望超过自己的士人，公孙瓒都会想方设法将其害死。平日所宠爱的手下，也多是一些地位低下、没有能力的庸人。
公孙瓒常常担心会有人对自己不利，就居住在高楼里，用厚铁板做门。左右不得随便靠近，凡是七岁以上的男子，更是不得进入铁门，楼上只有姬妾侍奉。凡是有公文、命令等文件，都是通过绳子上下传递。还命令妇女练习嗓子，大声喊话来传递消息，数百步之内都能听得见。
住进高楼中的公孙瓒已经不是从前雄心万丈的白马长史了，日渐疏远麾下文武，再也不信任自己的兄弟。因此，麾下谋臣猛将，渐渐离心离德，有的甚至悄悄离开了。从此以后，公孙瓒也不再率军出战了，每日只在高楼中饮酒消愁。
终于，还是有忠志之士忍不住站了出来，向公孙瓒进言。请求公孙瓒振作起来，率领白马义从，扬鞭疆场。
此时的公孙瓒，脸庞瘦削，胡须蓬乱，面容衰老，眼神黯淡。斜斜的倚靠在榻上，瞥了门客一眼，悠悠说道：“昔日，我奔驰于边塞，胡人丧胆；出兵孟津，黄巾逃匿。当时，我想着，平定天下不过是弹指间的事，指麾可定。可是，时至今日，戎马多年，天下依然一片混乱。看来平定天下不是我能做到的，还是休兵罢战，让百姓还归家园，努力耕种，以缓解灾年。”
看门客还想劝解自己，公孙瓒摆摆手，继续说道：“兵法有云，百座高楼的城池是没法攻破的。我们众多营地，高楼千里，储存粮食三百万斛，现在只需要坚守城池，坐看天下风云变幻，将来以待天时。”
公孙瓒就这么浑浑噩噩地过着，转眼到了建安三年。袁绍给公孙瓒送来书信，想要跟公孙瓒和解。公孙瓒也不考虑一下自己的状态和实力，直接没鸟袁绍，反而增加防御力量。袁绍看公孙瓒这么不给面子，怒火难抑，于是兴兵攻打公孙瓒。
袁绍大军出发，一路向北。公孙瓒幽州军最南端的桥头堡被袁军围困，向公孙瓒发来求救。公孙瓒这会儿情商完全不在线，当着麾下众文武的面说道：“现在一人有难，就向总部求援，如果立即去救的话，那么以后大家遇事就向总部求救，不肯全力出战。如果我们不去救的话，被围困的将士就会互相勉励，激发自我潜能，定能击退来犯之敌。”本来就对公孙瓒这些年的表现不满意的众将，现在对公孙瓒更是失望。
袁绍攻破幽州军的桥头堡，率军直抵界桥，包围了公孙瓒在界桥的营寨。界桥守军眼看不是袁军对手，而公孙瓒又不肯相救，大家干脆投降了事，还有一些直接逃跑了。袁绍大军一路势如破竹，直开到易京城下。
公孙瓒派儿子公孙续潜出城去，向黑山贼张燕等人求救。同时，准备率幽州突骑突出重围，在西山扎下营寨，趁机断袁军后路。此时，长史关靖进谏：“现在将士心怀异志，将军在城内，才能镇住他们。并且，将士们一家老小都在城中，大家猜愿意跟着你一起守城。如果将军一旦出城，大军立即瓦解呀。”
就这样，袁军日夜猛攻，公孙瓒用尽心力防守，捉襟见肘。光阴似炮弹，比箭快多了，倏忽间就到了建安四年春季，黑山张燕率十万大军分三路来救公孙瓒。