Als G. M. Vischer um 1680 einen Kupferstich des alten Hartberg schuf, stand das Kapuzinerkloster als einziges Gebäude außerhalb der Stadtmauer in der Nähe des Grazertores und der Brücke über den Stadtgraben, dem heutigen Stadtpark.
Die Klostergründung erfolgte 1654 nach dem Tode des mächtigen Vogtherrn Julius Graf Paar. Er hatte sich vier Jahre lang dem Bau widersetzt, obwohl bereits 1609 der Magistrat an die Freiherrn von Paar die Vogt- und Lehensherrschaft über die Benefizien am Karner und Lebern (Lebing) mit der Bedingung übergeben hatte, ein Kloster zu bauen "aus eigenem Säckel". Damit sollte Hartberg endlich auch ein Kloster bekommen wie die Nachbarstadt Fürstenfeld, die schon seit 1362 aus der Initiative des Bürgertums ein Augustiner-Eremitenkloster besaß.
Ein sehr reich begüterter und einflußreicher Adeliger ermöglichte schließlich 1654 die Klostergründung: Wolf Rudolf Graf von Saurau, Freiherr von Ligist, Friedstein, Wolkenstein, Obersteinach, Herr auf Schielleiten, Neuberg und Eigentümer der Stadt Hartberg, Krems, Schwanberg, Laubegg und Premstätten, der k.k. Majestät wirklicher geheimer Rat, der röm., hung. und böhm. Majestät Kämmerer und Oberstlandmarschall in Steier.
Dieser mit Titel, Würden und Gütern reich beladene Herr kaufte dem armen, aber angesehenen und geachteten Bettlerorden der Kapuziner den Garten neben dem Grazer Tor und befreite ihn mit 100 Reichstalern von allen Zehenten.
Nach der Grundsteinlegung durch den Abt von Vorau am 14. Juni 1654 wurde die Klosteranlage gemäß den strengen Weisungen des Kapuzinerordens sehr einfach und dürftig aufgeführt. Die Bevölkerung hat dabei sehr eifrig mitgeholfen. Die Orgel wurde erst 1857 eingebaut, der Turm 1866 geschaffen. Hochaltar, Kanzel und Lourdesgrotte stammen aus dem Beginn unseres Jahrhunderts.
1656 wurde die Kirche geweiht und 1658 konsekriert. Das erste Hochaltarbild war ein Geschenk des Stiftes Vorau und eine Nachbildung der dort dargestellten Himmelfahrt Mariens. Es mußte später einem Halbrelief weichen, das ebenfalls die Aufnahme der Gottesmutter in den Himmel zeigt. Das segensreiche Wirken und die Beliebtheit im Volke bewahrten das Kloster vor der Aufhebung in der Zeit Josef II.
Was der Regierung Josef II. nicht gelungen war, schafften die Machthaber unter Hitler. Am 1. Juni 1940 wurde das ewige Licht gelöscht. Fünf Jahre lang war die Kirche Militärdepot, das Kloster Alters- und Siechenheim, die Glocke hatte dem Krieg zu dienen und wurde eingeschmolzen.
Am 27. Juni 1945 kam der erste Pater zurück und leitete die Wiederbesiedelung ein, am 8. Juli erfolgte die Wiedereröffnung des Gotteshauses. Erst 10 Jahre später konnten die Pfleglinge ins neue Bezirksaltersheim übersiedeln. Bis zur Fertigstellung des neuen Schulgebäudes im Jahre 1967 hat das Kloster auch die Hauswirtschaftsschule von St. Martin beherbergt.
2016 hat der Kapuzinerorden beschlossen, den Standort Hartberg aufzugeben. Die Diözese Graz-Seckau hat aus diesem Grund hat Kloster übernommen und ermöglicht, dass dieser Ort als geistiges Zentrum weitergeführt werden kann.