Особливо складна і цікава історія древньої мечеті, в ній сьогодні влаштований музей, виставки якого розповідають про історію Судака і Генуезької фортеці. Будівля розташована в східній частині цитаделі, до нього веде широка дорога від воріт. Про його призначення в істориків немає єдиної думки. За однією версією, його було побудовано турками-сельджуками в 1222 році як мечеть, потім було зруйновано і знову відновлено як православного грецького храму, Коли господарями фортеці стали Генуя, вони влаштували тут католицьку церкву. А після взяття Судака турками в 1475 році храм знову перетворюється на мечеть. За іншою версією, Генуя використовували цю будівлю під консульську залу - своєрідне присутствене місце.
Достеменно відомо, що будова з місцевого сірувато-білого вапняку звели в XIII столітті і неодноразово перебудовували, при уважному огляді можна розрізнити чотири різночасні кладки. Будівля прямокутна в плані (14,34 м х 13,87 м), стіни та дах пов'язані один з одним зубчастої гофрування. Центральна частина перекрита великим напівсферичним куполом без барабана. З півдня до нього добудували відкриту галерею, утворену аркадою (тому деякі дослідники називають його "Храм з аркадою"). Але при наступних перебудовах два отвору галереї замурували, вийшов закритий притвор. Вікна та двері в середині цього приміщення прикрашені різьбленими наличниками з пишною різьбою у вигляді плетінки.
Всередині будівлі збереглися залишки сходів, які колись вела на мінарет. У південній стіні знаходиться молитовна ніша - міхраб, її прикрашає східний орнамент. Над нішею напис латинською мовою: "В ім'я Христа, амінь. 1423, в четвертий день січня, це будівництво велів зробити ... консул Талан Крістіано Мондіал". Поруч герб, на якому зображені фортечні вежі. При реставрації під шаром вапна були виявлені середньовічні фрески, на одній з них був зображений святий Миколай.
Після приєднання Криму до Росії в 1783 році в Судацької фортеці розмістився російський гарнізон - Кирилівський Новгородський полк, частина Донського козачого війська. Тут побудували казарми, заснували комендатуру, виставили варту. Колишня мечеть була звернена до православної церкви і освячена в ім'я апостола і євангеліста Матвія.
Святий апостол і євангеліст Матвій був ласуном тобто складальником податків для Риму. Почувши заклик Христа йти за ним, він залишив свою посаду, і пішов за Спасителем. Святий Матфей вважали на повчанням Ісуса Христа, був свідком Його чудес, смерті на хресті і Воскресіння. Після П'ятидесятниці він спочатку проповідував у Палестині, Сирії, Мідії, Персії, Парфії. Апостол Матвій є автором Євангелія, в якому він описав земне життя і вчення Ісуса Христа. Євангеліє від Матвія написано близько 42 роки. Пам'ять апостола і євангеліста Матвія вшановують 29 листопада.
Після відходу гарнізону з фортеці церква виявилася покинутій. Але землі в Судакській долині були продані або даровані численним російським поміщикам Самі вони постійно тут не жили, дозволяючи займатися розведенням та вирощуванням виноградників татарам. Однак влітку, до збору винограду всі з'їжджалися для відпочинку та продажу врожаю. А Церква у Судаку не було, найближча православна церква перебувала в 40 верстах, тому вирішили відродити службу в Матфеевской гарнізонної церкви, але 27 грудня 1810 її довелося закрити через старого стану. Церква підремонтували і знову відкрили в 1813 році. Але храм поступово руйнувався: в стінах з'явилися тріщини, у зводі - дірки, в будівлі не було вікон, Комісія Духовної консисторії обстежила храм і вирішила, що проводити Богослужіння в ньому небезпечно для прихожан, тому указом від 14 квітня 1817 храм закрили назавжди.
У 1867 році Судак відвідала імператриця Марія Олександрівна, вона оглянула руїни фортеці і наказала очистити древню мечеть від сміття, а потім закрити.
Пройшли роки. Судак поступово розростався, православного населення ставало більше, а будівництво нового храму затягнулося. У 1883 році знову постало питання про реставрацію стародавньої будівлі на Фортечний горі. Ініціатором став Микола Никифорович Маркевич, віце-президент Імператорського Одеського Товариства історії та старожитностей. Храм реставрувався на добровільні пожертвування прихожан, роботи провели всього за чотири місяці. Відомий художник-кіммеріец професор Академії мистецтв Л. ф. Лагоріо був запрошений для оформлення храму. Його кисті належить образ Божої Матері Скорботній. 2 жовтня 1883 оновлений храм був освячений.
