陶谦因为惧怕曹操的势力，于是杀阙宣奉上阙宣首级，以为可劝得曹操暂时熄灭心中怒火，撤兵而去。然而，陶谦的想法过于简单，曹操本一心要拿下徐州，现在难得找到了这个大好的机会，他哪里会放过，自然不会听陶谦啰嗦，仍是进兵不止，向陶谦所在之沛县发动一波又一波的攻击。
终于，陶谦在数败于曹操的情况下，知道曹操势力太过强盛，而他本身所据守的沛县城又实在太过鄙薄，难以凭恃以抗大敌，最后无奈，做出了撤退沛县的决定。当然，在下这个决定之前，其实身在郯县的陈登就曾劝过他，让他事若不济，可暂回东海以做计较。当是时，陶谦并不了解陈登说出这话的深意，还以为陈登是在沮自己军心，所以也没有同意。及至苦撑良久，见实在架不住曹操的猛攻，最后也只好妥协，将大兵往后撤往东海之阴平。
曹操得一沛县当然无用，看看陶谦走了，立即起大兵，尾追而来，再围陶谦于平阴。陶谦望着城下浩浩的人马，心里也已经发了毛。说实在的，他也没有想到，他本起兵攻臧霸于开阳，最后开阳没有攻下，不出两月形势就逆转成这样，被人家撵到了家门口追打，实在是岂有此理了。他此时，不管是懊恼也好，悔恨也罢，反正事已至此，也只能是走一步算一步了。不过，当他一想到曹操兵锋的锐利，以及自己一方战将的缺失，心里实在是没有必胜的信念，甚至想到，如果东海也不保，他徐州的将来会是个什么样子，会不会等不到儿子的接手，徐州就会落入曹贼之手？想到这里，陶谦两眼更是暗淡无光，毫不起色。
好在这之后两日，从郯县那边的援兵到了。这支援兵不过三千人，还是在此前陶谦让陈登紧急收拢来的。虽然人马少是少了点，但总比没有的好。更何况，随着援兵到来的，还有陈登的一封书信。陈登在书信中说，他在病榻之中不能与使君共赴州难，很是惭愧。又一面则劝陶谦不可与贼战，只需仅守城池，以待敌变，然后可相机行事云云。陶谦得此书信，也是看的莫名其妙，陈登身在后方，他又是怎么会知道敌情将有变？但一想，或者陈登这么说是在安慰他罢了。
不管陈登之意若何，但陶谦因为陈登的一封书，倒是信心稍增。他这里，按照陈登的吩咐，只将人马收拢入城，紧紧坚守平阴城，也不开城出战。叵耐陶谦做了这缩头乌龟，曹操想要与他接战又不可能，只能是督造器械以备来日大战。然而，曹操围城日久，这才发现问题接踵来了。
先是，久战不能拔贼城，下面士兵就有怨言了。毕竟冬季出兵本就违背常规，士兵也是人，他们之中多数人还未更换冬衣呢，如何抵御一日强似一日的天寒气候？二来，曹操起如此多的兵马，又收拢了许多降兵，粮草消耗严重，前日军需官报说，已是快揭不开锅了。加上战线拉长，运输上面更加耗时耗力，要想跟上接济又实在是难。而更加要命的是，他当初起兵，那是因为贼人打到他家门口来了，不得不这么做。说白了一点，他的出击是属于‘自卫’，众将士多为兖州人士，自然卖力些。而如今，贼人都退出了沛县，示他们以弱了，他们却还要打来，且深入敌人腹地，于是他们这支人马在无形中，也由当初的‘自卫’变成了如今的侵略，性质不一样，士气自然也就不一样。
一旦屯兵挫锐，久不能拔贼城，士气自然跟着下降，下面的怨言自然随之滋生。有许多将士甚至说管束不了自己的兵马了，说若再不撤兵，只怕有炸营的危险。身在此境，曹操就算是再有一百个能耐，也已经不得不考虑撤兵的问题了。军心是关键，粮草次之，若一旦在外之师不能保证这两点，那么再战下去……曹操也心知必然会出乱子。虽然说，曹操好不容易逮到了这么一个进犯徐州的大好机会，要是轻言放弃，实在是可惜了。但他也不是蛮来之人，既然知道士气不可用，他也只能是做出撤兵的决定。
望着平阴城池，以及周围将士的脸庞，曹操心里轻轻叹了一口气，嘴上却是笑道：“古言冬夏不兴师，偏偏是他陶恭祖逼得我违背常规，无奈发兵。如今看来，既然教其知道了厉害，我等也该顺应天理，大家都随某回兖州过年去吧。”曹操此话一说，两边文武心里自然的乐了，也都相继点头，纷纷称颂主公英明！曹操哈哈一笑，当即大手一挥，让传下军令，择日撤兵。
曹操围城的这些日子，对于陶谦来说，实在是太过煎熬。看着下面浩荡的贼兵，陶谦也实在想不明白陈登当初为什么要说曹操会退兵的话。然而，当某日清晨起来，探马报说贼人已经撤兵而去，只留了许多空营在城外，陶谦这才知道，陈登的话灵验了，贼人是终于撤兵了。他这里尚不明白陈登为什么能言中此事，但一想到贼人既然走了，他这里要是一点举动也没有实在是对不住曹操了，也显得他太过没有面子了。当下，陶谦点齐兵马，准备亲自带兵追击，但被刘备等劝阻，让陶谦不可亲犯其险。陶谦听来此话倒觉有理，也就分派出兵马，让曹豹、刘备几个率部追击曹操，他则坐守平阴城，以待消息。
曹操既然决定撤兵而去，自然在后面要安排好断路之兵，而曹操这人也有个习惯，一旦撤兵，他必亲自断后。于是，当刘备几个率部追上来的时候，曹操早设下伏兵，大败了刘备和曹豹一顿，杀得他两个几乎出不来围。好在，不用担心刘备，人家刘备见机得快，伏兵一起，知道不好，赶紧招呼他两兄弟往后就走，将贼人全都留给了曹豹抵挡。曹豹见机太慢，退得迟，又要面对贼人伏兵，差点没被贼兵活捉，不过最后也是侥幸逃了出来。但他对于刘备的不义之举，那是恨的牙痒痒的，想要怒打刘备，但被刘备身后闪出张飞，也就不敢动手，远远的走开了。
他两个便宜没有捞到，倒是被曹操揍的鼻青脸肿，回来见了陶谦，也是一脸无奈的样子。陶谦看到他两个的样儿，想要骂他们几句出出气，但一想这次派追兵是他自己出的臭主意，也就把刚要丢出口的话连忙收了回来，只赶忙改成：“曹孟德回兖州了？”曹豹两个微微一愣，也不知道他这话是何意，但他问的也对，也就相继点头。
虽然没能在最后关头捡到便宜，但好在曹操是真的退了，陶谦也稍稍轻吐了一口气。总计前后战，他与曹操败少胜多，共计损失了不下万余的人马，势力大损，此时再要起兵围剿开阳城是不能够了，陶谦想了想，也只好将此任务留待明年开春之际。此时，他得暂忍下这口气，带着人马都回了郯县。
当然，陶谦有鉴于得罪了曹操，知道曹操今后逮着机会一定会再次兵犯徐州的，而沛县虽然处在豫州，但其可作为抵御曹操兵犯的前沿阵地，不能不守。于是，陶谦权衡再三，再增刘备三兄弟三千兵马，打发他们去沛县驻守，同时为了名正言顺，又上表刘备为豫州刺史。当然，如今天下大乱，要说豫州刺史，不知有几个呢，袁绍那边有个周昂，汉家也早遣了一个郭贡，如今又多了一个刘备。至于‘上表’那也只是说好听的，表书能不能到天子之手是其次，关键是人家汉家都有了刺史，他还多此一举，可见上表之人对于天子的藐视了。
远的不说，单说曹操这个兖州牧，也是州人奉迎的，要说起来当不得真，这后来汉家又遣了个兖州刺史来，直接被曹操给撵走了，咱不承认，天子也没有办法。当然，说起天子，还在他人的掌控中呢，这些外放的刺史，也多数是当权者利益的工具罢了，所以算起来，汉家所遣的‘州牧大员’跟诸侯上表的，其实也是差不多意思，反正天子少有做主的时候。
话来刘备自从跟了随陶谦以来，陶谦对刘备那是刻意栽培，也前后增了他许多兵马了，如今再加上这三千，手上也共计有个七八千的人马了，算得是小小的发了一笔。虽然刘备心里很是明白陶谦遣他镇守沛县，那是故意让他替他挡灾的，但他还是乐意去的。曹操能不能来是在其次，关键是曹操来了，咱打不赢还能走不是？刘备存了这个心理，也就无所谓了。
当然，陶谦因为有沛县之辱，切齿在心，虽然在曹操手上讨不来便宜，但总得找到宣泄的窗口。陶谦左右一想，这沛县也实在可恶，让他有了此生之大辱，为了铭记在心，同时为了贬低沛县地位，故意改沛县为小沛。从此，沛县也就变成小沛城，纳入陶谦势力范围，刘备也就将军队驻扎进了小沛城。