Die erste Kirche im Pfarrgebiet von Hartberg bestand schon im Jahre 860. Die "ecclesia ad sabnizam" gehörte zu einem Gut, das Ludwig der Deutsche dem Erzbistum Salzburg, das in der Oststeiermark ausgedehnte Ländereien besaß, vermacht hatte.
Auch die Burgkapelle der bald nach 1122 errichteten Pfalz in Hartberg, die spätere Johannes-Magdalenen-Kirche, kann als Vorläuferin der Pfarrkirche gelten.
Die Pfarre Hartberg wurde als eine der Urpfarren neben Riegersburg und Leibnitz um 1140 durch den Archidiakon Reinbert von Fischau gegründet. Der erste Pfarrer Erchenger wird urkundlich 1157 genannt. Ein Neffe Reinberts, Ulrich, war von 1163 bis 1201 Pfarrer in Hartberg. Als ranghöchster Priester des Landes löste er den sterbenden Leopold V. in Graz vom päpstlichen Banne, der über den Herzog wegen der Gefangennahme des englischen Königs Richard Löwenherz verhängt worden war.
Über die Baugeschichte gab es nur Vermutungen. Erst eine Grabung beim Einbau einer Bodenheizung im Jahre 1973 brachte Klarheit über die vier Bauperioden der Kirche.
Etwa um 1130 wurde unmittelbar nach der Errichtung des ersten Platzmarktes in Hartberg eine romanische Chorturmkirche errichtet. Pfarrer Ulrich ließ schon in der 2. Hälfte des 12. Jahrhunderts die Kirche zu einer dreischiffigen Pfeilerbasilika ausbauen. Zur gleichen Zeit dürfte auch der romanische Wehrturm entstanden sein. 300 Jahre später, in der Spätgotik, wurde der Chorraum nach Osten erweitert. Die Strebepfeiler an der Außenseite tragen die Jahreszahl 1467. Von den damals neu erbauten Gewölben ist das gotische Sternrippengewölbe im Mittelschiff, wie eingangs erwähnt, noch erhalten.
Schäden an der Kirche und dem Wehrturm nach der Brandkatastrophe des Jahres 1715 und die unzureichenden Raumverhältnisse verlangten einen Neubau. Doch es kam nur zu einem großzügigen Umbau im Stile des Barock. Die Seitenschiffe wurden erneuert und mit Emporen versehen, der Altarraum erhielt ein neues Gewölbe, die Sakristei wurde vergrößert und im Norden die Marienkapelle angebaut. Nach der Abtragung des Ostturmes baute der Hartberger Baumeister Thomann Reift den Westturm, der an die Kirche angeschlossen wurde zu einem der schönsten Barocktürme der Steiermark aus. Bei den Bau- und Renovierungsarbeiten im Jahre 1973 fand man auch Mauerreste und Hypokausten einer römischen Villa aus dem 2.-3. Jahrhundert.
Beim Betreten der Kirche fällt die harmonische Innengestaltung aus dem Spätbarock auf. Die gotische Pieta in der Marienkapelle, das ebenso gotische Kreuz an der Rückwand und das steinerne Renaissance-Taufbecken von 1648 sind wertvolle Zeugnisse aus früheren Epochen. Zu erwähnen ist noch die Barockkanzel, die der Grazer Bildhauer Mathias Leitner schuf.
Das Hochaltarblatt wurde vom Vorauer Stiftsmaler Johann Cyriak Hackhofer 1716 noch vor dem Barockumbau geschaffen. Das Ölbild stellt die Aufnahme des Kirchenpatrons, des hl. Martin, in den Himmel dar. Das Deckenfresko des Malers Josef Adam von Mölk zeigt den Heiligen als Fürbitter im Himmel. Die Orgel des Grazer Orgelbauers Ferdinand Schwarz aus dem Jahre 1762 wurde 1942 vom Berliner Orgelbauer Karl Schuke erneuert. Von der Schwarzorgel blieben nur die Prospektpfeifen und das Gehäuse erhalten.
Ein Zeichen für unsere Zeit ist die 2007 installierte Videoanlage. Die Bildschirme erlauben von fast allen Plätzen der Kirche eine Blickmöglichkeit auf das Gottesdienstgeschehen. Die Anlage stellt auch neue Möglichkeiten der Information und Glaubensverkündigung dar.
Nach einer Umgestaltung des Altarraumes im Jahre 1984 wurde dieser im Jahre 2021 im Zuge einer gesamten Innenrenovierung abermals neu gestaltet. Das im Altarraum befindliche barocke Chorgestühl ging zurück an die Stiftskirche in Göß. Dadurch entstand ein großer freier Raum vor dem Hochaltar. Volksaltar und Ambo rückten näher zu den Mitfeiernden. Beide sind aus Stahl mit einer Vorderseite aus bunten Glasdallen. Die ersten drei Bankreihen wurden in der Kirche aufgeteilt. An ihre Stelle kamen Sessel, die eine flexible räumliche Gestaltung dieses Bereiches ermöglichen. Im Zuge dieser Renovierung wurde der barocke Gesamteindruck wieder stärker betont.
Durch ein Unwetter wurde das Kirchturmkreuz 2024 schwer beschädigt, sodass es abgenommen werden musste. 2025 wurde es, neu vergoldet, wieder aufgesetzt.