Çandarlı’nın merkezinde, İslam Mahallesi İncirli Çeşme Sokak’tadır. Halk arasında “Mescit” adıyla da bilinmektedir. Günümüzde çevresi binalarla kuşatılmış vaziyettedir. Yol seviyesinden yüksek bir kodda inşa edilen yapıya son cemaat yerinin kuzeydoğu cephesini ortalayan merdivenle ulaşılmaktadır.
Yapının son cemaat yeri hariç tüm cepheleri sıvalı ve badanalıdır. Üzeri kiremit kaplı dört yöne eğimli kırma çatı ile örtülüdür. Minaresi yoktur.
Son cemaat yeri sonradan yapıldığı anlaşılmaktadır. Tuğla malzeme ile inşa edilen son cemaat yeri yuvarlak kemerlidir. Doğu kemeri olasılıkla sonradan eklenmiş ve inşa edildiği dönemdeki yolun konumu nedeniyle kuzeydoğu yönünde kaydırılmış durumdadır. Son cemaat yeri hâlihazırda kapatılarak camekâna dönüştürülmüştür.
Yapının doğu cephesi iki sıra pencerelerle aydınlatılmaktadır. Pencereler altta üç, üstte yine üç sıradır. Tüm pencereler dikdörtgen formlu ve düz lentoludur. Üst pencereler alttakilere oranla daha küçüktür. Ayrıca üst sıra pencereler alt pencerelerle aynı eksende olmayıp bir miktar kaydırılmıştır. Bu cephenin ortasına yakın duvara bitişik bir çeşme bulunmaktadır.
Batı cephede ise doğu cephenin aksine alt kısımda sadece bir adet pencere açıklığı vardır. Cephenin üst sırasında ise iki pencere mevcuttur. Güney cephenin alt kısmın doğusunda bir adet pencere açıklığı bulunmaktadır. Bu cephenin batı kenarı tek katlı konut duvarı ile bitişiktir. Bu nedenle söz konusu cephe sağırdır. Üst sırada ise mihrabın her iki yanına birer pencere konumlanmaktadır.
Kuzey cephedeki yuvarlak kemerli ve çift kanatlı ahşap giriş kapısı, bulunduğu duvarı tam ortalar ve her iki yanında birer pencere açıklığı yer almaktadır. Bununla birlikte harime girişi sağlayan açıklığın üstünde bir adet pencere açıklığı daha bulunmaktadır. Hacı Ali Ağa Cami asimetrik bir plan şemasına sahiptir.
Harim giriş açıklığı ve mihrap birbirini karşılamamaktadır.
Mihrap, mermer bir çerçeve içine alınmış olup oldukça sade süslemelidir, alınlığında “Kullemâ dehale aleyhâ zekeriyye ‘l-mihrab” yazmaktadır. Çerçevenin üst sağ ve sol çaprazına alçı malzemeden birer madalyon konulmuştur. Sağdaki madalyonda “Allah”, soldakinde ise “Muhammed” yazmaktadır. Mihrabın önünde kıble duvarı boyunca uzanan bir seki bulunmaktadır. Güneydoğu köşede ahşaptan yapılmış bir vaaz kürsüsü yer alır. Mihrabın batısında ahşap malzemeden minber yer almaktadır. Harimin kuzeyinde ahşap malzemeden yapılmış dört ahşap destek tarafından taşınan kadınlar mahfili bulunmaktadır. Yapının hariminde ve dışı cephelerinde herhangi bir süsleme yoktur.
Yapının harim giriş kapısı üzerinde bir kitabesi vardır. İki satırlık kitabenin yazılışı ve Türkçe anlamı şöyledir:
1- Sahibü’l hayrat / v’el hasenât
2- Es-seyyid el-hac / Ali Ağa ibn Veli Ağa
Buna göre yapı H. 1228 (M.1813-1814) tarihinde “Veli Ağa oğlu Ali Ağa” tarafından inşa edilmiştir.
Caminin doğu duvarının ortasında bir çeşme bulunmaktadır. Çeşme, üzerindeki kitabeye göre H. 1102 (M. 1701-1702) tarihinde inşa edilmiştir. Hacı Ali Ağa Cami’nin harim giriş cephesi üstünde yer alan kitabede ise H. 1228 (M. 1813- 1814) tarihi yazmaktadır. Bu da her iki yapının inşa tarihinin aynı olmadığını göstermektedir. Buna göre çeşmenin Hacı Ali Ağa Cami’den yaklaşık 113 yıl önce inşa edildiği anlaşılmaktadır. Ancak gerek yapının planındaki asimetrik durum gerekse cephelerdeki pencere konumlarının düzensizliği mescit kitabesinin ilk inşa tarihine ait olup olmadığı hakkında şüphe uyandırmaktadır. Bu nedenle mescidin çeşme ile birlikte inşa edildiği veya çeşmenin daha sonra camiye eklendiği sonraki dönmelerde ise bir onarım geçirerek mevcut kitabesinin de bu onarıma ait olduğu düşünülebilir.