Det blev bygget af Belfast Charitable Society og husede de fattige i Belfast indtil 1880'erne. Med den fredelige atmosfære og de smukke omgivelser kan man nemt forestille sig, at det var et langt bedre overnatningssted, end hvad de fattige ellers var vant til. Man skal dog huske på, at bygningen er blevet renoveret mange gange siden da.
I sin tid som fattiggård fik de fattigste borgere i Belfast husly og vand, når de opholdt sig her. De børn, der boede her, fik lært værdifulde færdigheder som at strikke og væve, hvilket senere udviklede sig til at være vigtige industrier i byen. To af grundlæggerne af Clifton House var avisredaktører, og de prøvede at promovere det gode arbejde, der blev udført i huset. Dette gjorde de, på trods af at deres nevø, Henry Joy McCracken, blev hængt for sin del i det irske oprør i 1798 og begravet på Clifton Street Graveyard. Dette fik hæren, som opholdt sig i barakkerne ved siden af, til at insistere på, at huset skulle ryddes på grund af dets forbindelser til balladen.
I dag er halvdelen af Clifton House beboelse, og den anden halvdel er et konferencecenter, der huser mange forskellige begivenheder og aktiviteter hele året rundt. Nedenunder de karakteristiske hvide spir, som sidder på toppen af bygningen, ligger der også et aktivitetscenter.
Clifton House er helt sikkert et besøg værd, når du er i Belfast. Du finder bygningen i hjertet af byen på Clifton Street, tæt på A12.
