山东省简称“鲁”，在中国东部沿海、黄河下游；以其地处太行山以东而得名。

“山东”，起初为地区名。战国、秦、汉时代，通称崤山或华山以东为山东，与当时关东含义相同；一般专指黄河流域，走时也泛指战国时秦以外的六国领土。再有，春秋晋国、北魏前期、五代后晋，以地居太行山之西，故称太行山以东为山东。

“山东”作为行政区划名称，始于金代。金改北宋京东东路、京东西路为山东东路、山东西路，两路辖境相当今山东大部、江苏废黄河和淮河以北及安徽萧县之地，总称山东，“山东”作为行政区划名称始此。

元朝废除山东东、西两路，于其地置山东东西道宣慰司、山东东西道肃政廉访司等，仍称“山东”。

在元代，山东直隶中书省，属直辖地区。元代中书省除总理全国政务外，还直辖腹里地区，亦称中书省，又称都省，“中书省统山东西、河北之地，谓之腹里。”“腹里”即腹地之意。直隶于中书省的山东，分置东平、东昌、济宁、益都、济南、般阳六路。

明洪武二年（1369），明太祖设山东等处行中书省，简称山东省，此应为“山东省”正式成为行政区名之始。清朝直接称山东省，并一直沿用至今。