从匈奴人占领中原，北方有许人避难南方。刘琨的友祖逖带了几百乡亲淮河流域一带。在逃难的行列中，祖逖主动指挥，己的车马让给老弱有病的坐，己的粮食、衣服给一吃。十分敬重他，推他做首领。
了泗口（今江苏清江市北），祖逖手已经有一批壮士，他是背井离乡的北方人，希望祖逖带领他早日恢复中原。
，司马睿有即皇帝位。祖逖渡江建康，劝琅琊王司马睿说：“晋朝乱，主是由皇室内部相残杀，使胡人乘机攻进了中原。现在中原的百姓遭敌人残酷迫害，人人反抗。王令兵，派我收复失。那北方各的人民一定群响应。”
司马睿并有恢复中原的打算，但是听祖逖说有理，不推辞，勉强答应他的请求，派他做豫州（在今河南东部安徽北部）刺史，拨给一千人吃的粮食三千匹布，至人马武器，叫他己办法。
祖逖带着随同他一的几百乡亲，组一支队伍，横渡长江。船江的候，祖逖拿着船桨，在船舷边拍打（文言是‘中流击楫”），向誓说：“我祖逖果不扫平占领中原的敌人，决不再条江。”他的激昂的声调豪壮的气概，使随行的壮士感动，人人激奋。
了淮，他停一面制造兵器，一面招兵买马，聚集了两千人马，就向北进了。
祖逖的军队一路人民的支持，迅速收复了许失。，长江北有不少豪强主，趁中原乱的机，占据堡坞，互相争夺。祖逖说服他停止内争，跟随他一北伐，不听号令、依附敌人的，就坚决打击。祖逖的威望就越越高了。
刘琨在北方听老朋友祖逖兵北伐，很高兴，说：“我夜间枕着兵器睡觉等亮，就是一消灭敌人。现在祖逖跑我前面了。”
公元３１９年，陈留方的豪强主陈川投降赵国主石勒，祖逖决定兵进攻陈川。石勒派兵五万援救，被祖逖打败。接着，赵的将领桃豹祖逖的部韩潜又争夺蓬陂（在河南封市附近）城。战斗了四十，相持不，双方的军粮生了困难。
有一，祖逖布袋装满了泥土，派一千名兵士扛着，运了晋营，装运粮的子。最又派了几兵士扛着几袋米，运半路，故意停休息。
桃豹在赵营内晋兵运那的米，眼红，就趁晋兵休息的候，派了批兵士抢。晋兵丢米袋就逃。赵营早已断了粮，抢了一点米，够勉强维持几，但是晋营军粮那充足，军就动摇了。桃豹赶快派人向石勒求救。
了几，石勒派了一千头驴子装运了粮食接济桃豹。祖逖早就探情报，在路设伏兵，赵的粮食全部截夺。一，桃豹再支持不住，连夜放弃阵逃跑了。
祖逖领导晋兵艰苦斗争，收复了黄河南的全部领土，赵的兵士陆续向祖逖投降的很。晋元帝即位，因祖逖功劳，封他镇西将军。
祖逖在战斗的艰苦环境中，将士同甘共苦，己的生活很节约，省的钱尽量帮助部。他奖励耕，招纳新归附的人。即使是跟己关系疏远位低的人，他同热情待。生的百姓很拥护他。
有一次，祖逖举行宴招待父老。人高兴又是唱歌，又是跳舞。有些老人流着眼泪说：“我老了，今够在活着的日子亲人，死了闭眼睛了。”
祖逖一面操练士兵，一面扩兵马，预备继续北伐，收复黄河北的国土。哪儿昏庸的晋元帝祖逖竟放不，怕祖逖势力太了不控制，派了一戴渊征西将军，统管北方六州的军，叫祖逖归他指挥。祖逖辛辛苦苦收复失，反受朝廷的牵制，很不舒坦。
不久，祖逖听说他的友刘琨在幽州被王敦派人害死，又听说晋元帝跟王敦正在明争暗斗，又是忧虑，又是气愤，终病死了。豫州的男女老少听祖逖世的消息，像死了己的亲人一伤。
祖逖虽有完恢复中原的业，但他那中流击楫的英雄气概，一直被代的人所传诵。