刘秀于是多次光顾他的住所，有时谈得晚了，俩人就睡在一张床上。
严光睡觉不老实，还曾把两只脚放在刘秀的肚子上，刘秀也任他如此，并不挪开。
刘秀任命他当谏议大夫，严光死活不肯接受。
不久，严光离开了洛阳，径往富春山种田钓鱼，享受大自然去了。
刘秀虽然没得到严光，却因为对待严光的态度，赢得了天下士人的心！
他也因此找到了打败隗嚣的利器。