因为与大臣崔杼的老婆通奸，齐庄公被崔杼杀死在崔府。杀害了齐庄公之后，崔杼立齐庄公同父异母的弟弟杵臼为齐国国君，是为齐景公。齐景公即位后，以崔杼为右相，庆封为左相。崔杼、庆封当权之后，害怕再起祸乱，就让齐国的大臣百姓发誓：“不与崔、庆者死(不与两位相国保持高度一致的人天打五雷轰)！”这个时候，晏子不肯发誓忠于崔杼、庆封二人，他说：“我晏婴不想捞什么好处，我只知道听从忠于国君、有利于社稷的人！”庆封要杀了晏子，崔杼说：“他是个忠臣，放了他吧。”晏子免于一死。能在大是大非的问题上恪守原则，不畏强权，诚可谓“威武不能屈”。
崔杼跟原配生了两个儿子：崔成和崔彊。原配死后，他又娶了东郭偃的姐姐棠姜，又跟棠姜生了一子崔明。因为宠爱棠姜，崔杼就让棠姜与前夫生的儿子无咎和东郭偃管理自己相府的事务。崔成犯了罪，无咎和东郭偃要惩罚崔成，并想着让崔明做崔杼的接班人。崔成、崔彊兄弟两个很生气，一怒之下杀死了东郭偃和无咎。崔杼到左相庆封那里寻求帮助，庆封本来与崔杼就有点矛盾，这次就借机派人包围了崔府，“尽灭崔氏，崔杼妇自杀”。
庆封“尽灭崔氏”之后，独揽大权，更加骄横。他纵酒淫乐，实在不像样儿。于是，田、鲍、高、栾四大贵族共同率领家丁攻占相府。庆封只好出逃。
在崔杼、庆封当权之时，齐国一些正直的公子、大臣或流亡，或下野。待崔杼自尽、庆封逃亡之后，齐国开始召回此前不得志的公子和大臣，并厚待他们。由于晏子此前不肯与崔杼、庆封盟誓，齐国将邶殿(齐国别都，在今山东昌邑县)周边六十个城邑赐予晏子，以示犒劳，但是晏子不肯接受。子尾就问他：“富贵，是大家都希望得到的东西，您为什么偏不接受？”
晏子回答：“庆封的城邑让他的欲望太膨胀了，所以他逃亡了。我的城邑还没有让我的欲望膨胀，但是把邶殿地区的六十个城邑加起来也有可能使我欲望膨胀。欲望一膨胀，离逃亡也就没几天了。一旦逃亡，我就连一个城邑都没有了。我不接受邶殿，不是厌恶富贵，而是害怕失去富贵。并且，富贵像布帛，它是有限度的。百姓生活富裕、财用充足，这个时候就应该让他们端正品行，不能让财富超过了一定的限度。利益若超过了限度就会败坏心性。我不敢贪多，就是要守好富贵的限度。”
最后，齐景公给晏子“北郭佐邑六十(这比邶殿六十邑小很多)”，晏子才接受。这便是“晏子辞邑”的故事。晏子为什么要“辞邑”？原因很简单，就是因为他对人性有着深刻的认识，善于节制自己的欲望。俗话说“欲壑难填”，人的欲望是没有止境的，若任由其泛滥，势必造成欲望膨胀，而一旦欲望过度膨胀，那也就离着灾祸不远了。中国古人强调修身，而修身最重要的一条就是要善于节制欲望，孟子说：“养心莫善于寡欲。其为人也寡欲，虽有不存焉者，寡矣；其为人也多欲，虽有存焉者，寡矣。”在富贵到来之际，晏子能够不贪，十分难得，难怪司马迁对其推崇备至，他在《管晏列传》中说：“假令晏子而在，余虽为之执鞭，所忻慕焉。”司马迁之所以推崇晏子，在其治国本领之外，也包含了他对晏子崇高道德的真心欣赏。
