即使到了这个时候，段匹磾还是下不了决心要对刘琨怎么样，虽然他杀伐果断，但是杀害刘琨这样一个人，弄不好，影响极坏。
刘琨的庶长子刘遵听说父亲被软禁，恐惧不已，居然将北城城门都关闭起来，开始修筑城墙，准备备战。
刘琨在被软禁当中，突然觉得无力之极，他并没有争雄天下之心，没有谁比他更希望朝廷稳固，百姓安居乐业，而他本身就是个多情公子，相貌第一，才情第一，音律第一，如今混入军履，几临生死，父母被杀，苦不堪言。
于是提笔写了一首诗，附在了寄给好友卢谌的一封信里，信中那句：“何意百炼钢，化为绕指柔”堪称千古绝唱，叹息自己纵横一生，拼尽所有，最后事业未成，志向难酬，读来让人潸然泪下。
何意百炼刚，化为绕指柔！
此句无关乎小儿情长，也没有男女之事，说的都是家国情怀。
这边长史杨桥和刘遵一起，闭门死守，段匹磾一听，敢关城门，这是要反啊，于是下令大军攻城，北城本来很小，又没有多少守军，多半日就被段匹磾拿下了。
刘琨那不是一个人，那是一种高洁的精神，是很多人的精神支柱，这边恼了一个人，代郡太守辟闾嵩，他马上联系后将军韩据，一起偷袭段匹磾，想救出刘琨，可惜事情泄露，还没等起兵，段匹磾大兵到来，瞬间将辟闾嵩、韩据捉获，又罗织罪名，捕获了他们的所谓党徒，连同刘遵，一并处决了。
到了五月份，段匹磾假称奉诏拘捕刘琨，刘琨知道死期将至，问道：“拘捕我？我有何罪啊？”
段匹磾见他笑语盈盈，并没有害怕恐惧之态，仍然翩翩然，如神似仙，禁不住倒吸了口凉气，但是事情已经赶在这里了，没有挽回的余地，道：“你要自立称帝！”
刘琨仰天大笑道：
“功业未及建，
夕阳忽西流。
时哉不我与，
去乎若云浮。”
段匹磾未忍心刀斧相加，命人将刘琨勒死，并杀掉他子侄共四人。
刘琨的好友，也就是接到他临终绝笔的从事中郎卢谌、还有崔悦等闻信儿，一边痛心不已，一边整顿兵马，率领刘琨余部，星夜启程，逃往辽西，段末听闻赶紧派人去接应，这些人暂时依附段末，尊奉刘琨之子刘群为盟主，而其他将佐，见刘琨为晋室呕心沥血一生，居然被判谋逆，最后被冤杀，于是觉得那就索性反了吧，一气之下，投奔石勒。
却说段匹磾擅杀大臣，那是必须得和江东晋元帝说清楚的。
于是上表说刘琨想要自立称帝，却什么佐证材料也拿不出来。
晋元帝司马睿差点没气吐血，天下人都反了，刘琨也不能反啊！这不是颠倒黑白吗？
但是王导劝谏道：“段匹磾这个时候，势力尚强，咱们还得利用他平定河朔。先不要纠察这个事情了！”
靳元帝司马睿看了看王导，问道：“你觉得段匹磾还能有能力平定河朔吗？”
王导不解，晋元帝叹了口气道：“我可以听你的，暂时不为刘琨发丧，咱们静观其变。”
朝廷果然没说什么，也真就没为刘琨发丧。
刘琨之前派来劝进的温峤，也就是他妻子的外甥，一见朝廷不肯发丧，立刻痛彻心扉，不停上表称颂刘琨说：“刘琨如今为国捐躯，他一生尽忠于晋室，鞠躬尽瘁，家破身亡，父母妻子子侄儿孙丧命殆尽，如此忠义，应当褒扬，加以抚恤啊！”
卢谌、崔悦依附段末，劝谏段末派出使节，到健康上表，怒陈段匹磾不忠，为刘琨诉冤。
段匹磾治下百姓，听说刘琨被害，携家带口逃离而去，军中凡是刘琨旧部，还有那些敬佩刘琨为人的，无不伤心痛哭，没多久也散了大部。
段末见段匹磾势力一时突然羸弱不堪，打着为刘琨报仇的幌子，派他兄弟进攻段匹磾，段匹磾人心散尽，战力全无，被打得大败，最后只好率领几千部众逃跑，准备去投奔邵续，石勒闻听段匹磾路过，因为刘琨曾经将他的老母亲，从流民中救出，送还石勒，他还欠着刘琨一个人情。于是出兵埋伏在段匹磾的必经之路上，部将石越带兵在盐山截击段匹磾，段匹磾这回被重创，险些丧命……只好回头向蓟城方向逃命。从此以后段匹磾势力微弱，一蹶不振。
过了几年，段氏势弱，晋元帝终于为刘琨平反，追赠刘琨为太尉、侍中，同时给了谥号，为“愍”。而此时无论是夷人、还是晋人都因为刘琨之死，认为段匹磾不够忠义，不再服从段匹磾。
而温峤当初，是受刘琨之命，特意奉呈上表过江东，到建康，劝司马睿登基称帝的，他的母亲崔氏曾经不愿意他远行，坚持阻拦，温峤身负家国大义，又因为母亲死死攥住衣襟不肯松手，于是没办法，只好断袖而去。
到达建康，完成使命以后，温峤惦念老母，曾经多次请求司马睿，返回刘琨处复命，因为他品行端正，博学多才，朝廷不同意他北行。
适逢刘琨之死，温峤更是归心似箭，于是再次上奏，回北方为刘琨发丧。晋元帝见他心有不平，也知道他的心思，不但没放，还提升他担任散骑侍郎。
没多久母亲亡故的消息又来，温峤再次上奏，北归奔丧并安葬老母亲，苦苦坚持辞谢封职，说啥也不干了，多大的官也不要了，所有荣华富贵也都难以安抚他的心。
晋元帝知道温峤辞官，还是因为刘琨的事情，心中不平。此一去，必然江湖泛波，很难再入世为官了，于是特意下了一封诏书：“知道你是遵循孝道之人，但是礼法道理有很多，应当先遵循大道。
现在国家祸乱频发，逆贼未除，愍帝梓宫都没有迎回来，也没有好好安葬发丧，温峤您是饱读圣贤书之人，这些道理还需要我教诲于你吗？你怎能只顾个人私难家事，置国难于不顾，不听从王命呢！”
漫峤一看，这顿大帽子叩得他无言以对，万不得已，只好长叹一声，接受封职。