Il Palazzo Carfì, posto tra le Vie Umberto, Tenente Rossitto e Matteotti, è il più bel palazzo nobiliare di Cassaro. Questo grande edificio, appartenente alla famiglia Carfì (da cui prende il nome) è in stile tardobarocco.
La facciata principale del palazzo (posta sulla Via Umberto) presenta un bel portale arcuato in pietra con mensoloni che sorreggono il sovrastante balcone rettangolare decorato da un liscio travone, stessa cosa dicasi per l’adiacente balcone laterale. Tre finestre laterali (due rettangolari e una semicircolare) sono poste sulla parte sinistra della facciata di Via Umberto. Il prospetto più elegante del palazzo è posto però in Via Tenente Rossitto in cui la facciata, solcata da pilastri in pietra bianca, presenta cinque aperture ad arco sopra le quali vi sono posti altrettanti eleganti balconcini ad apertura rettangolare sorretto da mensoloni con decorazioni geometriche.
All’interno del palazzo vi sono ariose stanze che un tempo erano arredate con mobili d’epoca. Nel cortile di questo palazzo si tengono eventi culturali. Nel palazzo vi sono inoltre le sedi del GAL Val D’Anapo (sezione di Cassaro), del Centro Anziani e di una banca.