In der Steiermark ging er als der große Modernisierer in die Geschichte ein und wurde für viele Steirer zur Identifikationsfigur schlechthin. Alle seine Initiativen und Maßnahmen in der Steiermark machte Johann ausschließlich als Privatmann und in keiner öffentlichen Funktion. Nur seine vielfältigen Beziehungen und seine Argumentations- und Überzeugungskraft ermöglichten ihm die erfolgreiche Umsetzung seiner fortschrittlichen Ideen.

Seine Volksverbundenheit äußerte sich in engen Kontakten zu den Menschen, seinem Interesse an den Bewohnern des Landes und ihren Bedürfnissen und Fähigkeiten und der Förderung der materiellen und geistigen Kultur der Steiermark. Er wollte, dass seine Gesinnung auch nach außen zum Ausdruck kommen sollte und machte den grauen, grün besetzten Lodenrock der Obersteirer, der vor allem von den Jägern getragen wurde, zu seinem Kleidungsstück, dem Steirerrock, aus dem in weiterer Folge der Steireranzug hervorging. Genaue Kenntnis des Landes, der Bewohner sowie der Leistungen der öffentlichen Einrichtungen erlangte Erzherzog Johann durch statistische Landesaufnahmen. Darauf baute und begründete er seine wirtschaftlichen und sozialen Reformen.

Angeregt durch eine von Erzherzog Johann veranlasste volkskundliche Umfrage des Joanneums, verfasste der in Fohnsdorf tätige Beamte Johann Felix Knaffl 1813 eine ausführliche Beschreibung von Landschaft und Volksleben seiner engeren Heimat und schuf damit eine unschätzbare volkskundliche Quelle, die so genannte „Knaffl-Handschrift“. Eine weitere Befragung wurde 1836 von Erzherzog Johanns Mitarbeiter Georg Göth bearbeitet, ausgesendet und schlussendlich auch ausgewertet. Die Kammermaler des Erzherzogs, vor allem Thomas Ender, Jakob Gauermann, Johann Knapp, Matthäus Loder, Karl Ruß, Ludwig Ferdinand Schnorr von Carolsfeld schufen wertvolle Kulturdokumente. Sie hielten steirische und alpine Motive und Szenen aus dem Leben des Erzherzog in ihren Bildern fest. Weiters schufen sie zahlreiche Illustrationen von Trachten und der Mode sowie der Arbeitswelt und der Alpenflora. Im Jahr 1807 besichtigte er den Savica-Wasserfall in Slowenien; ein Denkmal erinnert dort an seinen Besuch.

Auch die Erschließung der Ostalpen erhielt durch Erzherzog Johann neue und entscheidende Impulse. Im Laufe seines Lebens, das er zum Großteil in den Bergländern Steiermark, Tirol und Salzburg verbrachte, bereiste und erwanderte er die meisten österreichischen Gebirgsgruppen. Große Touren ließ Johann von bergerfahrenen Vertrauten sorgfältig vorbereiten. Auf vielen dieser Touren begleitete ihn sein Sekretär Johann Zahlbruckner. Fast immer war auch einer seiner Kammermaler dabei, die den Auftrag hatten, die Gebirgslandschaften, aber auch das bäuerliche Alltagsleben bildlich festzuhalten.

1811 legte Erzherzog Johann den Grundstein für das Joanneum in Graz, den Vorläufer für die Technische Universität. Aber auch weitere Gründungen beruhten auf den Anregungen Erzherzog Johanns, wie z. B.

  • die Steiermärkische Landesbibliothek (1811),
  • das Steiermärkische Landesarchiv (1817),
  • die Steiermärkische Landwirtschaftsgesellschaft (1819),
  • die Steiermärkische Sparkasse (1825), (Zitat:) „..., daß mit der Verwirklichung des Sparkassengedankens nicht nur die althergebrachten Mittel des Zwanges und der Bevormundung durch den Staat in der Wirtschaft beseitigt, sondern darüber hinaus auch die Voraussetzungen dafür geschaffen werden, die als Folge der napoleonischen Kriege daniederliegende Wirtschaft wieder aufzurichten und die am Beginn des Maschinen-Zeitalters in unvorstellbarer Armut lebenden weiten Teile der Bevölkerung aus ihrer sozialen Not herauszuführen.“
  • die Berg- und Hüttenmännische Lehranstalt (1840) in Vordernberg (ab 1849 als Montanuniversität nach Leoben übergesiedelt),
  • die Wechselseitige Brandschadenversicherungsanstalt,
  • die Landesoberrealschule (1845) sowie
  • der Historische Verein für Steiermark (1850).

Seine soziale Gesinnung und seine Verbundenheit mit der einfachen Bevölkerung zeigte sich schon in den Jahren 1816 und 1817, in denen es in der Steiermark zu einer Hungersnot kam und er in den Notstandsgebieten persönlich Kartoffeln verteilte und die hungernde Bevölkerung ermutigte, diese anzubauen. Die Aufgabe der von Erzherzog Johann 1819 gegründeten Steiermärkischen Landwirtschaftsgesellschaft war es, die Bauern zu Neuerungen und Verbesserungen anzuspornen, um ihre wirtschaftliche Lage zu verbessern. Dies ging über die Verbreitung neuer Methoden für die Viehzucht, den Obstbau und den Ackerbau und die Bekanntmachung neuer Samen und Sorten bis zur Rationalisierung der Anbau- und Erntemethoden. Bei der Gründungsversammlung wurde Erzherzog Johann zum Präsidenten gewählt, ein Amt, das er bis zu seinem Tod ausübte. Wie wichtig dem Erzherzog diese Initiative war, zeigt, dass er an den Sitzungen der in der ganzen Steiermark entstandenen fast 50 Filialen nach Möglichkeit mindestens einmal jährlich teilnahm. Die Landwirtschaftsgesellschaft war die Vorgängerorganisation der 1929 entstandenen Steirischen Landwirtschaftskammer.

Im Jahre 1822 starb Johanns Onkel Albert von Sachsen-Teschen, der ihn in seinem Testament mit 200.000 Gulden bedachte. Nun konnte er sein landwirtschaftliches Mustergut Brandhof bei Mariazell ausbauen, er erwarb in Vordernberg ein Radwerk und wurde somit Eisengewerke. 1837 kaufte er ein zweites Vordernberger Radwerk. Er setzte 1829 bei den übrigen Radmeistern die Neugründung der Vordernberger Radmeisterkommunität durch. Unter dem maßgeblichen Einfluss von Erzherzog Johann wurden der Erzabbau und die Erzförderung auf dem steirischen Erzberg reorganisiert und modernisiert. Durch den Erwerb einer Blechfabrik in Krems bei Voitsberg (1848) und von Kohlegruben bei Köflach wurde er auch zum Fabrikanten und Kohlengewerken.

1840 kaufte er die Herrschaft Stainz, wo man ihn 1850 auch zum ersten frei gewählten Bürgermeister kürte. Bereits früher hatte er in Pickern (heute Pekre]) bei Marburg an der Drau in der Untersteiermark ein Weingut gekauft, wo er in einem Musterweingarten rheinische Reben anpflanzen ließ. Sein Wirken in der Untersteiermark ist durch die Ereignisse im 20. Jahrhundert weitgehend in Vergessenheit geraten, obwohl er durch die Förderung von Verkehrswegen – den Bau der Steinbrücke über die Sann (1826) oder die Verbindungsstraße von Windischgraz nach Schallthal (1830) – wesentlich zur Erschließung der Region beigetragen hat und dafür von der Bevölkerung gefeiert worden ist, die ihm auch mehrere Denkmäler errichtet hat. Muster- und Versuchshöfe betrieb er auch am Brandhof, in Stainz und auch in Graz (im Bereich der heutigen Annenstraße nahe dem späteren Stationsplatz Gratz (heute Hauptbahnhof)).

Beeindruckt von den Dampfmaschinen, die er bei seinem Englandbesuch 1815 kennengelernt hatte, trat er vehement für den Eisenbahnausbau ein. Bereits 1825 schlug er Hofkanzler Franz Josef Graf Saurau detailliert eine Eisenbahnverbindung von Budweis bis Triest vor. Besonders erwähnenswert ist die Durchsetzung der Trassierung der Südbahn von Wien nach Triest über den Semmering und durch die Mur-Mürzfurche nach Graz. Der steirische Abschnitt von Mürzzuschlag nach Graz wurde daher im Volksmund auch Erzherzog Johann-Bahn genannt. Auch die ab 1855 erbaute und 1860 eröffnete Graz-Köflacher Bahn ist aus einer joanneischen Anregung hervorgegangen. Die Trassenführung dieser Bahnlinie (Köflacherbahn), welche die Köflacher Kohlereviere und auch Johanns Blechfabrik in Krems mit der Landeshauptstadt Graz und damit mit der Südbahn verbindet, hat er persönlich bestimmt.

Erzherzog Johanns Volksverbundenheit fand ihren Ausdruck nicht zuletzt auch in einer ganzen Reihe von Liedern über ihn. Der um etwa 1830 entstandene Erzherzog-Johann-Jodler (Wo i geh und steh) wird heute noch oft gesungen. Darüber hinaus gibt es aber noch mindestens drei Dutzend Erzherzog-Johann-Lieder, wovon manche – etwa jene, die seine Rolle in den Franzosenkriegen oder als Reichsverweser zum Inhalt haben – auch durchaus kritisch sind.

Zum Gedenken wurde nach seinem Ableben ein großangelegter Brunnen in der Mitte des Grazer Hauptplatzes errichtet, auf dem eine überlebensgroße Statue des Erzherzogs steht. Die vier Frauenfiguren zu seinen Füßen, die gleichzeitig den Brunnen mit Wasser speisen, symbolisieren die vier Hauptflüsse der damaligen Steiermark: Mur, Enns, Drau und Sann. Enthüllt wurde das von Franz Pönninger geschaffene Monument am 8. September 1878 in Anwesenheit des Kaisers Franz Josef höchstpersönlich. Eine der Inschriften am Sockel stammt vom österreichischen Dichter Anastasius Grün und lautet: „Unvergeßlich lebt im Volke, wer des Volkes nie vergaß“.