Masjid Agung Tegal dibangun oleh K.H. Abdul Aziz pada tahun 1825 - 1830. Tepatnya saat pecahnya Perang Jawa yang dipimpin Pangeran Diponegoro.
Masjid ini sudah mengalami beberapa kali renovasi. Saat ini selain menjadi tempat beribadah, Masjig Agung Kota Tegal juga sering menjadi tempat berwisata karena terdapat lapangan yang cukup luas di halamannya.