从郭嘉偶尔露出的几句话中，刘修知道他们家也是阳翟大族郭家的一份子，只是他父亲死得早，又没有机会入仕，所以家道败落了。他母亲李氏出自襄城李氏，和李膺是同族，年纪轻轻的就守寡，见郭嘉聪明，就不愿意改嫁，自己拉扯郭嘉长大。孤儿寡母，再加上李氏还有些孤气，平时没少被人欺负，虽说是大族，但生活非常艰难。