元平元年（公元前74年）四月，漢昭帝駕崩，享年二十一歲。昭帝突然發病死去，這使得主管帝陵營建的官員非常狼狽，因為皇帝的陵墓還沒有認真營建，於是他們趕快租用了三萬輛牛車，從渭河灘拉沙，構築地下墓室。倉促歸倉促，昭帝平陵的隨葬品仍是十分豐富的。當時由霍光主持昭帝喪事，墓室中金銀珠寶，應有盡有。

    國不可一日無君，霍光在處理好昭帝喪葬事宜之後，便開始著手選拔新君。昭帝並無子嗣，他死後，朝中許多大臣主張立他同父異母的哥哥廣陵王劉胥為帝。但是霍光知道劉胥品行不端，所以當時漢武帝才未立他為帝。現在由自己輔政，反而選立一個失德的皇帝，怎麼對得起死去的漢武帝呢？霍光只得再冒得罪許多大臣的風險，決定另選繼承人。

    他和皇太后商量，迎立漢武帝之孫昌邑王劉賀為帝。征和三年（公元前90年），李廣利、劉屈氂等因為策劃謀立昌邑哀王劉髆為太子，被漢武帝識破而滅族。後元元年（公元前88年）正月，劉髆駕薨，他五歲的兒子劉賀成為昌邑王。劉賀卻是個不爭氣的人，剛即位就做了很多荒唐事。

    霍光甚為為難，這個皇帝是在他的主持下冊立的，如此貽誤社稷，讓霍光感到既對不起武帝的託孤之恩，亦對不起先帝的賢明名聲。

    朝中早年的輔政大臣，都已經在立燕王一事中伏誅，而現在的丞相又是一個明哲保身、難堪大任的人，因此，只有霍光的好友，當朝大司農田延年可以與之商量定議。

    田延年對霍光說道：「大將軍乃國之中流砥柱，既然已知昌邑王不適合做君主，不如稟報太后把他廢掉，另選一個賢明之人當君主好了。你應該向商朝的伊尹學習。做一個安定漢室社稷的重臣。」

    此事，還有一段淵源：霍光要廢肆意妄為、不能擔當國家社稷的劉賀，又怕日後擔「忤逆」的罵名，便想援引古例，看看歷史上有沒有這樣的典故，於是向田延年問了一句「於古嘗有此否」。沒想到即此一問，也就開口見喉嚨，叫人看出「光不涉學」了，「不學無術」一說就是這樣來的。此後，歷代政治家都試圖避免讓別人看到自己的深淺，而且高官和學者一般都能畫上等號，當然，除了那些開國元勛外。

    霍光見此，其實心中已經有了定議，只是擔心僅僅憑藉他二人之勢，不免會落人口實，霍光對於政治從來都是謹小慎微，他怕田延年的意見不合禮法，最終還是選擇和其他兩個重要大臣商量。

    其實，在大家的心目中，對於劉賀的胡作非為，都已經產生了不滿，於是，眾大臣一致決定要廢掉這個無道昏君。霍光和群臣一起去見太后，陳述廢掉昌邑王劉賀的理由，太后也同意了眾臣的意見。於是只當了二十七天皇帝的昌邑王就被廢黜了。

    他也是漢朝歷史上唯一沒有帝號的皇帝。

    後世統稱其為漢廢帝！

    昌邑王既然被廢黜，皇位又空了出來。忠心輔政的霍光，日夜為此焦急不安。光祿大夫丙吉上書給霍光，推薦寄存在民間的漢武帝的曾孫劉病已。劉病已，後改名為劉詢，字次卿。戾太子（劉據）孫，史皇孫劉進子。出生數月，即逢劉據巫蠱事件。劉詢被祖母史家所收養，一直居住在民間。元平元年（公元前74年）昌邑王被廢後，大臣中有人進言說，皇曾孫劉詢有德有才，可接回宮中繼承皇位。霍光亦對劉詢做了一段時間的考察，發現此人心懷仁慈、志向遠大，遂攜同大臣將他從民間迎入宮中，先封為陽武侯，將此事稟報皇太后，接著就把劉詢接回宮中，擁立為皇帝，他就是有名的賢君漢宣帝。漢宣帝於元平元年（公元前74年）七月即位，時年十八歲，第二年改年號為本始。

    被廢的劉賀，此後的生活可謂潦倒不堪，霍光新擁立的漢宣帝劉詢，在即位之後，心底到底有些忌憚，他害怕劉賀會不甘心，進而產生反叛的心思。

    於是，劉詢在即位的第二年就讓山陽太守張敞專門監察劉賀，此刻劉賀已經被軟禁，張敞發現，劉賀終日沉迷酒色，早已經變得毫無鬥志。劉詢知道劉賀從此難以成為自己的敵手，遂生出惻隱之心，沒有傷害他的性命，而是打發劉賀回到山東昌邑國，過著被監視的日子。而劉賀帶去長安的兩百多個官員除了三個正直的人，其他的都被斬首。

    元康二年（公元前64年），為防止劉賀死灰復燃，宣帝遂下詔給山