匈奴贵族横行北方、西晋王朝面临崩溃的候，晋朝有一些有志气的将领坚持在北方战斗。刘琨就是的杰代表。
刘琨年青的候，有一的朋友叫祖逖。在西晋初期，他一在司州（治所在今洛阳东北）做主簿，晚，两人睡在一张床，谈论国，常常谈深更半夜。
一夜，他睡正香的候，一阵鸡叫的声音，祖逖惊醒了。祖逖往窗外一，边挂着残月，东方有白。
祖逖不睡了，他脚踢踢刘琨。刘琨醒揉揉眼睛，问是怎回。祖逖说：“你听听，不是坏声音呀。它在催我床了。”
两人高高兴兴，拿壁挂的剑，走屋子，在熹微的晨光舞剑。
就，他一苦练武艺，研究兵法，终有名的将军。
公元３０８年，晋怀帝任命刘琨做并州刺史。那候，并州被匈奴兵抢夺杀掠，百姓处逃亡。刘琨招募了一千兵士，冒着千难万险，转战了并州的晋阳（今山西太原市西南）。
晋阳城，房屋被焚毁，满长着荆棘，处是一片荒凉。偶见一些留的百姓，已经饿不像子了。
刘琨情况，很难。他命令兵士砍掉荆棘，掩埋尸体，重新房屋城池修复。他亲率领兵士守城，防备匈奴兵的袭击。他采取计策，让匈奴的各部落互相猜疑。，有一万匈奴人投降了刘琨，连汉主刘渊害怕了，不敢侵犯。
刘琨流亡的百姓召回耕荒。不一年间，处听鸡鸣狗叫的声音，晋阳城渐渐恢复了繁荣的景象。
刘聪攻破洛阳，西晋在北方的兵力被打散了，有刘琨在并州一带坚持战斗。晋愍帝在长安即位，派人封刘琨将军，他统率并州的军。
那候，汉国将石勒，占据了襄国（在今河北邢台西南），集结了几十万军，夺取并州。刘琨南面有刘聪，北面有石勒，前受敌，处境困难了极点。是刘琨有害怕，有退缩。他在给晋愍帝的一份奏章说：“臣跟刘聪、石勒，势不两立。果不讨平他，臣决不回朝。”
据说，刘琨在晋阳的候，有一次，晋阳被匈奴的骑兵层层包围。晋阳城兵力太少，有力量打退敌人。感惊慌，刘琨却仍泰若。了傍晚，他登城楼，在月光放声长啸，声调悲壮。匈奴的骑兵听了，随着啸声叹息。半夜，刘琨又叫人胡笳（一乐器）吹匈奴人的曲调，勾了匈奴骑兵乡的怀念，伤感流眼泪。快亮的候，城头的笳声又响了，匈奴兵竟动跑散了。
，刘琨联络鲜卑族首领一进攻刘聪，有功。接着，石勒进攻乐平（今山西昔阳西南），刘琨派兵救，被石勒预先埋伏的精兵打几乎全军覆。正在候，又传了长安被刘聪攻陷的消息。了步田，尽管刘琨怎顽强，法保住并州，率领残兵投奔幽州了。