他自称刘氏子孙，以汉高祖和光武帝为先祖，想要重建“汉”朝

天福十二年（辽大同元年，公元947年）5月，南唐中主李璟听说辽太宗耶律德光去世，宣武节度使萧翰弃守汴州。于是，他召集文武群臣，商议经略中原事宜，说：“关中、洛阳是本朝（南唐皇帝自称是李世民三子吴王李恪的后裔）故地，朕十分眷念祖宗陵墓。日前中原无主，朕计划以一旅之师渡过淮河，麾军北上。”

李璟任命后晋降将李金全担任北面行营招讨使（北方军团招抚征剿总指挥），积极整军备战。但不久又得到刘知远已进兵汴州（河南开封）的讯息，李璟不敢直撄其锋，只得取消了北上大计。

5月20日，刘知远驾临晋州（山西临汾），距太原出师已整整一周。如此任性地按辔徐行，出自刘知远和郭威制定的战略，尽量拉长行军时间，缓慢压缩辽军空间，让他们在重压下自行撤出中原。所谓不战而屈人之兵，兵不血刃地收复两京方为上策。

此后沿途州郡竞相出迎，藩镇节帅躬为刘知远牵马坠蹬。

5月28日行抵石壕（河南陕县，杜甫千古名篇《石壕吏》即出于此地），辽人萧翰扶植的“知南朝军国事”许王李从益派遣的使者，也正好来到，奉上汴州版籍，请刘知远入京正位。

6月3日，刘知远进入西京洛阳，入居旧宫，昭告天下：收缴的辽朝委任状已付之一炬，接受过契丹伪职的文武臣工切勿自疑，忠心归顺便可既往不咎。

同时，刘知远指示郑州防御使郭从义先行赶往汴州，廓清全城，警跸皇宫。

郭从义一到汴州，即发兵将许王府邸团团围住，将三尺白练和一壶“寿酒”进献给李从益。原来，临行前，刘知远还付给他密诏一道，命令他处死李从益，以昭示朝廷正朔。

李从益嫡母王淑妃大惊，不觉泣下数行，哽咽说道：“我儿被契丹人强立，他有何罪？妾身情愿代他一死！将军留他一命，每年寒食，徽陵（后唐明宗李嗣源的陵寝）前尚有麦饭一盂。否则，唐祀就断绝了。”

郭从义哪敢容情，见李从益母子啼哭不已，亲自动手，勒死了二人。李从益死时年仅17岁，后唐血胤再无孑遗。

6月11日，刘知远到达汴州，将国号由“晋”改为“汉”，为表不忘后晋旧恩，年号仍为石敬瑭拟定的“天福”。汴州复称“东京”。

他自称为两汉嫡派苗裔，设立天子六庙，供奉西汉太祖高皇帝刘邦、东汉世祖光武帝刘秀以及四代直系祖先。

6月15日，刘知远大赦天下，宣布各在任节度使，不论是后晋原任，还是辽人新任，一律免于撤换。各地藩镇遂纷纷赴京，向刘知远表示臣服。

后晋覆灭的头号罪人天雄军节度使杜重威和天平节度使李守贞也一起奉上了恭贺刘知远建国的表章。

杜重威率二十万生力军投降契丹，辽太宗耶律德光还曾给他披上黄袍，假意许诺册封他为南朝皇帝。虽然他从众向刘知远上表称臣，可是内心疑惧万分，为试探新帝，杜重威请求调离天雄战区。

归德军节度使高行周入朝参谒刘知远，刘知远顺势下令，二人对调，杜重威去宋州（河南商丘）赴任，高行周到魏州（河北魏县）履职。杜重威接到移镇诏书，又生疑窦，深怕赴任途中遭到清算，因此拒不从命。

他把儿子杜弘璲派到恒州（河北正定）做辽军人质，请求救援。此时留守恒州的是辽世宗堂叔耶律拔里得，拔里得调部将杨衮率一千五百辽兵，加上原属赵延寿的两千幽州兵去魏州赴援。

7月18日，刘知远正式下诏讨伐叛臣杜重威，削去该人一切本兼职务。以高行周为招讨使、异父弟弟镇宁节度使慕容彦超为副，统兵三万平定杜重威之乱。