李贺自述家境时说：“我在山上舍，一亩嵩硗田。夜雨叫租吏，舂声暗交关。”

（《送韦仁实兄弟入关》）父亲李晋肃，早年被雇为“边上从事”。大历三年（768）去蜀任职，曾与表兄杜甫相遇于公安，“漂泊”一生，到李贺出生的贞元年间，晋肃稍得升迁，任陕县令，但不久老死。

母亲郑氏，生一女二子，长守昌谷。大女出嫁后，家境愈贫寒。李贺兄弟二人外出谋生，欲饱肌腹。

李贺自幼体形细瘦，通眉长爪，长相极有特征。他才思聪颖，七岁能诗，又擅长“疾书”。

相传贞元十二年（公元796）李贺正值七岁，韩愈、皇甫湜造访，李贺援笔辄就写就《高轩过》一诗，韩愈与皇甫湜大吃一惊，李贺从此名扬京洛。