La presencia de una primera comunidad judía en Sarajevo, formada por sefardíes expulsados de la peninsula ibérica en 1492, remonta a 1557.
En 1878, tras la ocupación austrohúngara de Bosnia, se instalan en la ciudad los judíos askenazís de la monarquía de los Habsburgo, cuya lengua, tradición y cultura y, en cierta medida, liturgia difieren de la de los serfardíes. Pocos años después de su instalación, los askenazís crean una asociación y deciden la construcción de una nueva sinagoga.
El primer proyecto se remonta a 1895 y fue obra del arquitecto austriaco de confesión judía Wilhelm Stiassny, ardiente promotor del estilo orientalista y autor de las sinagogas de Praga y Viena (hoy demolida). Su proyecto es rechazado por el gobierno provincial. Las modificaciones propuestas por las autoridades son integradas en parte en el nuevo proyecto elaborado por Karel Pařik, arquitecto checo implicado igualmente en la construcción de la Vijećnica y de la Escuela de derecho islámico de Sarajevo.
Apoyándose en el proyecto de su predecesor, Karel Pařik combina un volumen simple
La sala de culto presenta una planta oblonga, dividida en dos partes por un gran arco de herradura polilobulado, decorado con una inscripción tomada del primer Libro de los Reyes
Durante la Segunda Guerra Mundial, el ejército alemán transformó la sinagoga en caballeriza. La distribución y la decoración de la parte inferior del edificio, así como el Arca Santa, uno de los elementos más decorados, fueron destruidos por completo. Por el contrario, se preservó la decoración de la gran sala. En 1964-1965, con ocasión del cuarto centenario de la llegada de los judíos a Bosnia y Herzegovina, la gran sala de oración de la sinagoga se instaló en el piso superior sobre un suelo que cubre toda la superficie de la estancia. El piso bajo acoge hoy una sala destinada a ceremonias y actos sociales de la comunidad.
