De bouw van het stadhuis begon in 1474 onder leiding van de Vlaming Evert Spoorwater en is gebouwd door de familie Keldermans uit Mechelen, die ook het stadhuis van Middelburg bouwde. Het is een laat gotisch rechthoekig gebouw met uitgekraagde kleine torens aan de voorzijde. De gevel van ledesteen, is nog vrijwel in de oorspronkelijke staat. Vermoedelijk zijn de dakkapellen een latere toevoeging.

Tussen 1931 en 1934 werd het stadhuis grondig gerestaureerd. De stadhuisbeelden, oorspronkelijk gepolychromeerd en in 1517/1518 vervaardigd in het atelier van Michiel Ywijnsz in Mechelen, werden toen vervangen door nieuwe uit het atelier van professor W.O. Wenkebach. Zij stellen de heren en vrouwen van Veere voor uit het roemruchte geslacht der Van Borsele’s. De oorspronkelijke beelden staan sinds 1950 opgesteld in de beeldenzaal van de Schotse Huizen.

Op de begane grond van het stadhuis bevindt zich De Vierschaar. Hier werd tot 1811 recht gesproken. In het interieur van het stadhuis van Veere zijn veel stijlelementen uit de achttiende eeuw bewaard gebleven. De fraaie deurknoppen in de grote hal zijn een schenking van stadhouder Willem III, markies van Veere.

De Vierschaar is tegenwoordig een museum. Tot de stadhuiscollectie behoren onder meer historische portretten van de Oranjevorsten. Een verguld zilveren beker die in 1551 door Maximiliaan van Bourgondië (1514-1558) aan Veere werd geschonken behoort tot de hoogtepunten van museum De Vierschaar.

Op de eerste verdieping is nog steeds de raadzaal. Dit vertrek wordt nu nog steeds gebruikt voor het voltrekken van huwelijken en voor representatie doeleinden. In 2014/2015 is het stadhuis opnieuw vrijwel volledig gerestaureerd en er bevindt zich op dit moment ook het VVV inspiratiepunt.