胶澳总督府位于市南区沂水路11号,1904年5月开工,1906年4月竣工。由德国设计师拉查鲁维茨设计,建筑师为德国人马尔克,由德国汉堡阿尔托纳区F·H·施密特公司施工。面对小青岛和青岛湾,处于当时青岛市中心处,是当时德国胶澳总督办公的地方,又称“总督府”。这座由花岗岩砌成的“总督府”,始建于1903年,1906年竣工。是一座砖石和钢木混合结构的建筑,建筑面积7500平方米,耗资85万德国马克。
建筑采用19世纪欧洲公共建筑的对称平面,主面为三纵五段的对称处理,中轴线非常突出,建筑平面呈“凹”字型。东西长80米,南北长约40米。四层设半地下室。位于二层的扁圆大圆券门廊为主入口,由宽大的39级石阶和两边的行车坡道直通, 建筑的2~3层为主办公楼,由中部大楼梯联通,层高4米。半地下室、四层及阁楼层是独立辅助办公楼层,仅能由两侧次段楼梯与各层联系。整个建筑以古典主义立面划分,底层作为基座,用粗大的蘑菇石砌筑,敦实厚重,以上为高达两层的花岗石矩形壁柱和变形的爱奥尼克柱头,柱间做石砌拱檐,拱上部为石砌墙面, 墙上开小窄窗。南主立面的三层柱间作拱形明柱廊。配以折线型屋顶,覆以筒式红瓦,开启有弧状屋面窗,顶侧装有铁栏杆,既用于装饰,又做避雷针,十分精巧。 总督府为5层楼房,主体高20米,1、4、5层楼均为窗户较小的辅助性房间,主要办公室都在2、3层朝阳的一面,走廊均在背阴的一面。办公室宽敞明亮,门窗很大,办公室外还有长廊式阳台,室内除装有柚木护墙板和地板外,别无其它装饰,使人感到庄重朴实。整个建筑外形非常庄重,处理手法也非常严谨。大楼外为一拱圈形大门,进门则是2层。2层的门厅和3层的会议厅及主要大厅都很高大。总督府内的门窗等木作皆用柚木做成,耐变形。外墙转角处为向外斜出的石砌勒脚,以加强稳定感。屋盖配以高耸的蒙莎式层顶,挂红筒瓦。整个建筑气势宏大,庄严而生动。该建筑位于楼前广场的中轴线上,广场前方通过叠落后的青岛路及中心花坛直对海面,更加突出行政建筑的庄重格局。解放前该楼为历届政府办公楼。解放后为青岛市人民政府办公楼。由于它背山面海,楼前广场空间开阔,更显得蔚为壮观,在建筑方位多不规则的青岛市区内,它是少见的一座近似正南正北的建筑物。
1914年第一次世界大战爆发,日本取代德国侵占青岛,总督府成为日军驻青岛守备司令部。1922年,中国政府从日本人手中收回青岛,此楼成为胶澳商埠督办公署,1929年4月,总督府又为青岛接收专员公署,同年7月成为青岛特别市政府的所在地。
1938年,日本第二次侵占青岛,总督府又成为日伪最高统治机关所在地,先后称为“青岛特别市公署”,“青岛特别市政府”。1945年日本投降后,国民党政府接收青岛,总督府再次作为青岛市政府所在地。
1949年6月2日,青岛解放。这座办公大楼先后为青岛市人民政府、青岛市人民委员会所在地。现为市人大常委会和市政协的办公场所。1996年,被国务院公布为全国重点文物保护单位。