Fu il primo dei castelli fatti costruire dai Martinengo dopo che il 30 Gennaio 1380 il territorio di Urago venne costituito in signoria feudale sotto la giurisdizione di Prevosto Martinengo. Sorto sulle basi di una più antica torre, fu insieme castello e residenza signorile posta a sovrastare, da una piccola altura il fiume Oglio, l'importante corso d'acqua che nel corso dei secoli fu teatro di scontri e commerci e che scorreva quasi interamente nelle proprietà della nobile famiglia bresciana. Diviso in quattro proprietà già nel XV secolo, incendiato da condottieri milanese nel 1427 subì tali rimaneggiamenti, modifiche e distruzioni da non essere più ben identificabile nelle nobili linee originarie. Dapprima severa rocca da difesa, venne in seguito ingentilito con loggette e terrazze. Sul torrione d'ingresso, in cotto, è raffigurata l'aquila dei Martinengo.