位于市南区鱼山路和福山路交会处，南临汇泉湾，北有八关山，海拔60米，面积2.5万平方米。山上建筑因势谋景，借景造型，围绕“海”的主题，突出“鱼”的特色，将亭台廊阁有机结合起来使自然美、建筑美与艺术美融为一体。山顶主要建筑名观潮阁，三层八角，高18米，与前海栈桥的回澜阁遥相呼应。阁下有碧波亭和拥翠亭，匾额均为艺术大师吴作人所题。东南角有顺山势而建的飘台式三层茶室，供游人小憩或极目海天。
小鱼山主建筑为“览潮阁”，三层八角高18米，与前海栈桥的回澜阁遥相呼应。阁内有螺旋式的楼梯，外设护栏平台，人们可沿平台绕阁一周，饱览“蓝天、碧海、青山、绿树、红瓦、黄墙”这一青岛的独特风貌。山之西坡有一挑檐式六角亭，因站在亭内可一览碧波荡漾的汇泉湾，故取名“碧波亭”。东面是四角的“拥翠亭”，其风格与“碧波亭”相似。上述三处的匾额皆由著名艺术大师吴作人先生题字。
览潮阁和拥翠亭连接处的曲廊正面，有一直径两米的白色雪花石浮雕山标。山标周围是黑色大理石象形文字和壁画。北廊壁上镶嵌着长九米，高二点六七米瓷板釉上彩壁画《八仙过海》，其设计稿获全国美展一等奖。东廊壁上镶嵌着长九点一米，高二点六七米的大型瓷板釉下彩壁画《蒲松龄宇宙》，描绘了蒲松龄的故居和《崂山道士》、《促织》、《席方平》等聊斋故事情节，构图丰满，意味深长。
整个小鱼山公园的建筑设计围绕“海”的主题，突出了“鱼”的图案造型，构造新颖，使古典园林呈现着时代的气息，使自然美、建筑美和艺术美融为一体，在建筑风格上颇具特点。 山坡南面有代表青岛欧式建筑风格的微缩景观。