1836 wurden die Jesuiten zur Gründung eines Kollegiums nach Schwyz berufen. Im Schulhaus auf der Hofmatt richteten sie ihre erste Lehranstalt ein; sie selber wohnten bis 1844 im Klösterlein im Loo. 1841 wurde der Grundstein zum Bau des Kollegiums und zur Kollegiumskirche gelegt. Im November 1847 flohen jedoch die Jesuiten, als das Kollegium geplündert und die Kirche verwüstet wurde. Von diesem Zeitpunkt an stand das Gebäude leer bis zum Jahr 1856, als Pater Theodosius Florentini wieder eine Lehranstalt einrichtete. Am 3. April 1910 brannte das Kollegium fast vollständig nieder. Der Bau wurde auf den bisherigen Grundmauern wieder aufgerichtet und zwar nach den Plänen von Eduard Davinet. Die neue Kirche «Maria Hilf» hat sieben Altäre.