Zahrada v tehdejší Rámové ulici, později Soukenické a dnes Tolstého patřila přes svůj dodnes nedoceněný význam odedávna mezi nejméně známá místa v Jihlavě. I proto asi také byl tento prostor - obehnaný vysokou zdí - opřádán mnohdy až romantickými legendami. Nositelem největšího tajemství byl přitom právě zahradní domek. Do Tolstého ulice byla obrácena jen tři okna. Všechna ostatní směřovala do zahrady včetně dřevěné pavlače, pod níž měl doktor Fritz vybudován malý skleníček.

Přízemí tajemného zahradního domku tvořila místnost sklenutá do kříže a několik menších světniček ne nepodobným žalářním celám. V prvním patře byly prosté místnosti s dřevěnými stropy. Pod budovou samotnou byl důkladný sklep. Odtud severozápadním směrem směřovala kamsi na Špitálské předměstí podzemní chodba.

Ve starých mapách Jihlavy toto místo neslo název Jesuiten Garten - tedy jesuitská zahrada a prokazatelně bylo v majetku jesuitského řádu od svatého Ignáce. Jesuité mohli tento pozemek využívat skutečně jako zahradu ke svým duchovním cvičením. V domku patrně přebývali i někteří zaměstnanci řádu, mezi nimiž byla řada malířů a sochařů. Těm velká místnost v přízemí domku pak zřejmě sloužila jako ateliér.

Doktor Fritz tento domek i se zahradou koupil v dražbě v květnu roku 1849 za 1300 zlatých. . Od té doby se stala tato zahrada jeho velikou láskou. Milovník přírody a zkušený znalec květeny doktor Fritz zde vypěstoval jinde v kraji nevídané zvláštnosti a vzácné dřeviny.
Kromě jiného ve Fritzově zahradě rostly liliovníky, japonské kdoule, obrovité thuje či borovice vejmutovka. Velkou vzácností zahrady byly kultovní japonské stromy Ginkgo či asijská katalpa trubačovitá. Rostly zde i zvláštní břízy s velkými lupeny, cedry, vzácné javory a duby. V nitru zahrady se také ukrýval stopadesátiletý tis a ohromná americká líska.

Toto magické místo uprostřed Jihlavy bychom dnes již zde hledali marně. Vzácná zahrada byla nevratně porušena při budování Sokolovny a kina ve 30. letech a dílo zkázy pak dokonala stavba bývalého sídla komunistické strany v letech sedmdesátých.

A právě dnes si připomínáme výročí odchodu zakladatele této tajemné zahrady - lékaře, čestného občana Jihlavy, nositele rytířského řádu Františka Josefa a spoluzakladatele Ústředního hřbitova, na jehož bráně dodnes můžeme číst jeho latinský vzkaz všem následujícím generacím Jihlavanů, tedy i nám:

„V Kristu zemřeli, skrze Krista radostně vstanou“.

MUDr. Leopold Fritz umírá v Jihlavě ve věku 82 let dne 2. srpna roku 1895.