据说该寺在建设期间，资金发生困难，眼看就要半途而废，施工主人们准备去远方化布施。早晨起来，发现院中两头骆驼背负重囊，朝东而卧。主人认为是行脚驼，驼的主人定会寻来，直到夜幕降临未见有人来赶走，于是有人解囊启袋，发现约有九千余两白银。得此银后不仅完成了预定的规模，还增建了殿堂。
寺院定名时人们认为若无这西来之资定难完工，今能完工乃西主资助之功，遂定名为“西来寺”。
西来寺占地面积 2184平方米。寺院规模宏大，古朴典雅，是青海境内保存完好的古寺中典型的汉语系佛寺。寺内主要建筑建在坐北朝南的中轴线上，由山门、中殿、大殿和东西两厢堂馆组成两进院落，庭院内绿树成荫，陪衬着佛殿走廊朱红色檐柱和石绿色斗拱。山门宽3间，进深1架，中为门廊，东西为泥塑四大金刚。进入山门为前院，面对山门为中殿，东西两厢为堂馆，殿、堂均为硬山式建筑，中殿主供阿弥陀佛。大殿面宽5间，进深3架，单檐歇山顶，矗立在台基上，大殿内供三世佛，中间释迦牟尼，两边为文殊、弥勒，还有阿难、迦叶、弟子、比丘等。东西两面山墙供菩萨四尊。整个墙面以半立体式浮雕着山水、人物、建筑、树木、珍禽、异兽等。该寺保存完好，西来寺现为乐都县历史文物博物馆，陈列乐都地区收藏和出土的珍贵文物以及原寺院遗存的24幅明代卷轴佛像画。