El castillo de Castelvecchio fue construido en el siglo XIV, durante el reinado de la dinastía Scaliger. Formaba parte de las defensas de la ciudad, una fortaleza bien fortificada, maravilla de la arquitectura militar de la época. Al principio se llamó San Martino al Ponte, por la iglesia que se encontraba cerca. El castillo se diseñó siguiendo el ejemplo de todas las fortalezas de la época: altas murallas rodeadas de profundos fosos llenos de agua. Este sistema de «foso-valle» era habitual en la fortificación de las ciudades medievales. Para la construcción de la nueva fortaleza eligieron el lugar donde en la antigüedad hubo un antiguo fuerte romano – de él quedaban fragmentos de cimientos. Siglos más tarde, el cruel tirano de Verona, Cangrada II della Scale, ordenó erigir un castillo en su lugar.
A finales del siglo XVIII fue aquí la residencia de Napoleón. Al principio, los lugareños fueron muy leales a sus soldados, pero pronto empezaron a saquear y saquear. En 1796 comenzó una rebelión de los habitantes del pueblo, a consecuencia de la cual el castillo sufrió graves daños. Tras su restauración a mediados del siglo XIX, la guarnición austriaca estuvo estacionada allí durante algún tiempo.
El castillo de Castelvecchio tiene un aspecto sencillo y austero: muros de ladrillo rojo, sin decoración alguna, con paredes almenadas. Las almenas parecen la letra M. Está asociado a una leyenda sobre dos clanes enfrentados, los güelfos y los gibelinos, que no se reconocen. Esta rivalidad llegó tan lejos que hasta los dientes de sus castillos estaban hechos de forma diferente. Los güelfos los tenían puntiagudos, como las alas de un pájaro, mientras que los gibelinos los tenían rectangulares. Esto se hizo para que todo el mundo pudiera ver desde lejos a quién pertenecía el edificio. El patio está decorado de forma interesante. Su forma se asemeja a un trapecio irregular, y a lo largo de su perímetro hay construidas 7 torres de vigilancia.
El puente Scaliger conecta Castalvecchio con la orilla izquierda de Verona. Fueron construidos al mismo tiempo, en estilo románico, y juntos representan un magnífico conjunto de arquitectura medieval. El puente Scaliger, adyacente al castillo, recibe su nombre en honor de la dinastía Scaliger que gobernaba en la época. Por orden del monarca Cangrande II dela Scala, fue diseñado por el célebre arquitecto de la Edad Media Guglielmo Bevilacqua. También supervisó todas las obras. La construcción duró más de 10 años y finalizó en 1355. El puente se convirtió en la única vía que unía Castalvecchio con la ciudad. Es una estructura muy poderosa y estéticamente agradable, con aspilleras y dientes puntiagudos como los del castillo, y tiene más de 100 metros de longitud. Consta de tres arcos de diferentes longitudes, que se apoyan en dos torres pentagonales. Los arcos forman tres vanos, el más largo de 50 metros. El puente era tan fuerte y fiable que se mantuvo en pie sin reconstrucción durante unos 500 años. Fue volado por los alemanes durante la retirada de Verona en 1945. Después de la guerra, el puente fue reconstruido en su forma original, según los dibujos y descripciones que se conservan, utilizando fragmentos encontrados en el río.
En la actualidad, el castillo de Castelvecchio alberga un museo histórico. Una de sus salas está enteramente dedicada a la historia del propio castillo. La exposición es una rica colección de pinturas y esculturas medievales. Parte de ella se encuentra en los patios interiores (la entrada al museo es de pago).
