Det bedste område at bo i Colle di Val d'Elsa er Colle Alta, eller "Øvre By", som er byens historiske hjerte.Denne forhøjede del af Colle di Val d'Elsa er en middelalderlig fæstningsby, karakteriseret ved smalle, snoede gader, stenbygninger og imponerende udsigt over det omkringliggende toscanske landskab. Hovedgaden, Via del Castello, løber gennem centrum og fører til charmerende pladser og historiske kirker. Den er stort set bilfri, hvilket gør den behagelig at slentre i.Par, der søger en romantisk og historisk ramme, vil finde Colle Alta særligt tiltalende. De intime restauranter, vinbarer og kunsthåndværksbutikker tilbyder et afslappet tempo, perfekt til at nyde aftenerne sammen efter at have udforsket regionen. Collegiata di San Lorenzo og Palazzo dei Priori er store vartegn for dem, der er interesseret i historie og arkitektur.For rejsende, der foretrækker moderne bekvemmeligheder og lettere adgang med bil, tilbyder Colle Bassa, eller "Nedre By", en mere moderne oplevelse. Dette område har et bredere udvalg af butikker, større hoteller og er godt forbundet til hovedvejene for dagsture til Siena eller Firenze.