Yalı Caminin hangi tarihte kimin tarafından yaptırıldığına dair kesin bir bilgi yoktur. Yapıldığı dönemde deniz kenarında bulunduğu için “Yalı” ismini aldığı söylenir. Kimi kaynaklarda caminin inşa tarihi 1755 olarak verilir. Kimi kaynaklarda ise camiyi İzmir ayanı Katipzade Mehmet Paşa’nın eşi Ayşe Hanım'ın yanında bir medrese ile birlikte 1774 yılında yaptırdığı bilgisi yer alır. Katipzadeler ailesinin yabancılarla sıkı ilişkiler içinde olduğu bilindiğinden, “İngiliz Ayşe Camii” adııyla da anılır. Yalı Caminin yanında olduğu düşünülen medrese yapısı günümüze gelememiştir.
I. Dünya Savaşı sırasında Vali Rahmi Bey’in camiyi onarttığı bilinir. Bu onarımı belirten bir kitabe kapı girişinde bulunmaktadır. Yalı Caminin kapısı üzerinde bulunan mermer süslemelerin Mimar Tahsin Sermet'in yapıtı olan İzmir Milli Kütüphane ve İzmir Milli Sineması'ndaki mermer süslemelere benzerliği nedeniyle bu onarımın Mimar Tahsin Sermet tarafından yapılmış olduğu tahmin edilir.
Yalı Cami 1964 yılında bir kez daha onarımdan geçmiştir. Bu onarım sırasında caminin cephesinde bulunan Kütahya çinilerinin büyük bir bölümü sökülmüş, yalnızca pencere ve kapı sövelerindeki bırakılmıştır. Son düzenlemelerden önce dışı tamamıyla Kütahya çinileriyle kaplı olan yapının, bugün pencere etrafları ve alınlıkları 19.yy’ın en iyi Kütahya çinileriyle süslüdür. Çinilerdeki imza Hafız Mehmed Emin Efendi'ye aittir.