Cafe Pori Jazz toimii ainutlaatuisen arvokkaassa rakennuksessa, jonka Porin Anniskeluosakeyhtiö rakennutti vuonna 1910. Tyyliltään puuhuvila on lähinnä kansallisromanttinen, ja kahvilapaviljongin suunnitelmat laati porilainen arkkitehti Arthur Fagerholm.
Alkuvuosina uudessa rakennuksessa elettiin vilkasta aikaa, kun Porissa toimineen venäläisen varuskunnan upseerit muodostivat kahvilan pääasiakaskunnan ja istuivat ahkerasti “rapakaljan” ja voileipien äärellä. Heitä palveli ravintoloitsijana toiminut Hilja Salo. Kahvilan toiminnan lopetti Suomen itsenäistyminen vuonna 1917, sillä ensin poistuivat venäläiset upseerit ja vuonna 1919 alkoi kieltolakiaika. Näihin aikoihin Porin kaupunki osti rakennuksen itselleen.
Paviljongin toinen kukoistuskausi ajoittui 1930-luvulle ja kieltolain kumoamisen jälkeiseen aikaan. Ravintolaa pitivät tuohon aikaan kauppias Lauri Viljanen ja neiti Lempi Sjöblom. Paviljongissa tarjoiltiin sakeaa tynnyriolutta ja rakennuksen vieressä sijainneella lavalla järjestettiin lavatansseja. Itsestäänselvää anniskeluoikeuksien myöntäminen ei kuitenkaan ollut, koska alkoholijuomien avointa tarjoilua pidettiin sopimattomana lasten ja perheiden kesänvietto- ja uimapaikan läheisyydessä.
Kesäpaviljongin laajentamista suunniteltiin moneen otteeseen jo ennen 1930-lukua, mutta suunnitelmat kariutuivat aina eri syistä. Ravintolan pito kuihtui sodan mukanaan tuomiin ankeisiin aikoihin.
Sotaa seuranneina vuosikymmeninä Kirjurinluodon paviljongissa toimi muutamia eri vuokralaisia, mutta viime vuosituhannen loppupuolta kohden toiminta hiipui ja rakennus jäi lopulta ränsistymään keskelle Kirjurinluotoa.
Arvokkaaan rakennuksen uusi tuleminen koitti 2010-luvulla, kun Porin kaupunki remontoi sen perusteellisesti. Kesästä 2021 alkaen puupaviljongissa toimii Cafe Pori Jazz, jonka tavoitteena on tehdä Kirjurinluodon helmestä kaikkien yhteinen ja kaikille avoin kesäinen keidas.