證誠寺の建立は鎌倉時代の承久3(1221)年。初代の了永は、源氏の正統・土岐氏の出身で美濃国を領したが、比叡山に上り、最初は天台宗の僧侶となったという。
嘉禄年間(1225年ごろ)、関東に教化に来られた親鸞聖人と出会った了永は、大いに感銘を受け、直弟子となって浄土真宗に改宗した。
創建時は常楽寺と号したが、「関ヶ原の戦い」の際に徳川家康公に寄進を「證誠寺」の名で行ったと記録に残っており、遅くとも慶長年間には現在の寺号となっていたとみられる。
当初、現在の桜田門の警視庁のあたりにあったが、江戸時代になり、慶長17(1612)年に江戸城の近くに大名屋敷を作るということで、現在の虎ノ門周辺に移り、承応元(1652)年には現在の高輪に移った。江戸の入口である「大木戸」があり、有事には防衛上の要衝とするため、この地に寺社を集めたからだという。
かつては境内に稲荷大明神も祀られ、幕府より3000坪の拝領地を授かっていたが、明治時代になって、神仏分離のために境内の3分の2を国に寄進し、現在の広さとなる。昭和20(1945)年5月24日、東京大空襲で、本堂、山門、庫裏など全て焼失。ただ、先々代の住職が御本尊の阿弥陀如来像と、開基了永の自作像の頭部は墓石の下に逃して戦火を逃れた。
本堂は昭和37(1962)年、客殿は昭和52(1977)年に再建、鐘撞堂は平成24(2012)年になって再建が実現した。令和3年(2021年)で開基800年を数え、現住職で第30代となる。