El palacio fue construído en el siglo XVII y es uno de los edificios de estilo barroco más bellos de Koper.

Tras la Primera Guerra Mundial se convirtió en la sede del Museo Municipal de historia y arte, hoy Museo Regional de Koper, el cual conserva una riquísima herencia cultural de la Istria septentrional y de la época prehistórica en adelante, haciendo hincapié especialmente en el círculo cultural veneciano. El palacio tiene dos nombres debido a que uno de los miembros de la familia Belgramoni, en una noche de juego de cartas, al perder una apuesta, pasó el palacio a manos de la familia Tacco.

Al extinguirse la misma, fue declarada como patrimonio cultural.