Die erste Kirche im Pfarrgebiet von Hartberg bestand schon im Jahre 860. Die "ecclesia ad sabnizam" gehörte zu einem Gut, das Ludwig der Deutsche dem Erzbistum Salzburg, das in der Oststeiermark ausgedehnte Ländereien besaß, vermacht hatte.
Auch die Burgkapelle der bald nach 1122 errichteten Pfalz in Hartberg, die spätere Johannes-Magdalenen-Kirche, kann als Vorläuferin der Pfarrkirche gelten.
Die Pfarre Hartberg wurde als eine der Urpfarren neben Riegersburg und Leibnitz um 1140 durch den Archidiakon Reinbert von Fischau gegründet. Der erste Pfarrer Erchenger wird urkundlich 1157 genannt. Ein Neffe Reinberts, Ulrich, war von 1163 bis 1201 Pfarrer in Hartberg. Als ranghöchster Priester des Landes löste er den sterbenden Leopold V. in Graz vom päpstlichen Banne, der über den Herzog wegen der Gefangennahme des englischen Königs Richard Löwenherz verhängt worden war.
Über die Baugeschichte gab es nur Vermutungen. Erst eine Grabung beim Einbau einer Bodenheizung im Jahre 1973 brachte Klarheit über die vier Bauperioden der Kirche.
Etwa um 1130 wurde unmittelbar nach der Errichtung des ersten Platzmarktes in Hartberg eine romanische Chorturmkirche errichtet. Pfarrer Ulrich ließ schon in der 2. Hälftedes 12. Jahrhunderts die Kirche zu einer dreischiffigen Pfeilerbasilika ausbauen. Zur gleichen Zeit dürfte auch der romanische Wehrturm, der spätere Barockturm entstanden sein. 300 Jahre später, in der Spätgotik, wurde der Chorraum nach Osten erweitert. Die Strebepfeiler an der Außenseite tragen die Jahreszahl 1467. Von den damals neu erbauten Gewölben ist das gotische Sternrippengewölbe im Mittelschiff noch erhalten.
Schäden an der Kirche und dem Wehrturm nach der Brandkatastrophe des Jahres 1715 und die unzureichenden Raumverhältnisse verlangten einen Neubau. Doch es kam nur zu einem großzügigen Umbau. Die Seitenschiffe wurden erneuert und mit Emporen versehen, der Altarraum erhielt ein neues Gewölbe, die Sakristei wurde vergrößert und im Norden die Marienkapelle angebaut. Nach der Abtragung des Ostturmes baute der Hartberger Baumeister Thomann Reift den Westturm zu einem der schönsten Barocktürme der Steiermark aus. Bei den Bauarbeiten im Jahre 1973 fand man auch Mauerreste und Hypokausten einer römischen Villa aus dem 2.-3. Jahrhundert.
Beim Betreten der Kirche fällt die harmonische Innengestaltung auf, die außer der gotischen Pieta in der Marienkapelle, dem Kreuz im Triumphbogen und dem steinernen RenaissanceTaufbecken von 1648 aus dem Spätbarock stammt. Zu erwähnen ist noch die Barockkanzel, die der Grazer Bildhauer Mathias Leitner schuf.
Das Hochaltarblatt wurde vom Vorauer Stiftsmaler Johann Cyriak Hackhofer 1716 noch vor dem Barockumbau geschaffen. Das Ölbild stellt die Aufnahme des hl. Martin in den Himmel dar. Das Deckenfresko des Malers Josef Adam von Mölk zeigt den Heiligen als Fürbitter im Himmel. Die Orgel des Grazer Orgelbauers Ferdinand Schwarz aus dem Jahre 1762 wurde 1942 vom Berliner Orgelbauer Karl Schuke erneuert. Von der Schwarzorgel blieben nur die Prospektpfeifen und das Gehäuse erhalten.
Im Jahre 1984 wurde der Altarraum neu gestaltet. Das barocke Chorgestühl kam aus der Stiftskirche in Goß, den steinernen Altartisch hat der Grazer Architekt Reinhard Schöpf entworfen.