Zdi mlýna jsou stavěny z tvrdého materiálu. Lícové stěny vnější i vnitřní jsou z opracovaného kamene všemožných tvarů s roztlučeným nehašeným vápnem. Obojí zaléváno vodou, jíž se vápno uvnitř zdí zhasilo a vřelé prolévalo spáry mezi kamením a vnějšími stěnami. Vše se slilo ve tvrdou a pevnou zeď, u země v síle 1,10 m. Čím výše do úrovně, ke střeše, byla celá stavba zdí pozvolna zužována až na sílu 90 cm. Obdobně snad bývaly staveny též zdi dávných tvrzí a hradů. Proto přečkávaly dlouhá staletí.

Při přestavbě mlýna v r. 1934, kdy bylo třeba do zdí zevnitř vyhloubit otvory pro nosné trámy, nebyli lidé schopni je vylámat, jak byly zdi tvrdé. Vylámání děr dalo mnoho těžké práce. Jak se zjistilo, sloužil mlýn i pro obranu proti nepříteli. Po oškrabání staré omítky se přišlo na to, že v jižní zdi byla 2 okna tvaru střílen, uvnitř asi 70×90 cm, tvaru obdélníku na délku a vně se velmi zužující do obdélníku asi 25×18 cm na výšku, jimiž bylo možno střílet.

Jako před staletími také nyní stojí mlýn na okraji zastavěné části městečka Nivnice a byl samozřejmě vždy první na ráně hned při počátku útoku nepřátel, kteří zpravidla přicházeli od jihovýchodu, z Uher. Mimoto mlýn stál naproti panskému nebo zemanskému sídlu a byla tak přední stráží pro část obce ležící od mlýna k severu. K roku 1759 byl nájemcem mlýna, dosud panského, mlynář Jan Hladiš, soudobý držitel Dolního mlýna. Byl prý velmi zámožný a jeho rodině se říkávalo „zemanská“. V r. 1763 byl tam mlynářem, snad blízký příbuzný někdejšího nivnického ř.k. faráře P. Ferdinanda Egide, který v Nivnici působil v letech 1755-1764. Roku 1767 byl na Prostředním mlýně Ignác Schrotter a po něm jej převzal roku 1771 další mlynář, Václav Kment. Týž jej prodal r. 1778 Martinu Lakotovi. V držení této rodiny byl mlýn po 8 let. Ale r. 1786 mlynářka Anna, vdova po Lakotovi, prodala mlýn za 800 zlatých Janu Klášterníkovi. V r. 1809 oženil se s Klášterníkovou dcerou František Vařecha, do té doby ve mlýně zaměstnaný jako stárek. Po Františku Vařechovi převzal mlýn Matyáš Vařecha, po něm Jan Vařecha a posléze opět František Vařecha, který byl posledním jeho držitelem z rodu Vařechů do počátku XX. století. Vořechové byli tudíž na mlýně plných 100 let. V místě dosud žije poslední potomek z rodu Vařechů, starý mistr kolář Gustav Vařecha, naroz. 1876, který si vystavěl obydlí s dílnou „Na stanovisku“, č.p. 471, nedaleko na sever od rodného mlýna. Dovede ještě vyprávět mnohé ze starých časůProstředního mlýna a Nivnice vůbec. V r. 1909 koupil Prostřední mlýn od Vařechů mlynář Viktor Vaculík, který zboural před mlýnem šopu (kůlnu) a přistavěl část mlýna směrem k vodní strouze na jihozápad. Starou kůlnu je ještě vidět na nejstarší fotografii mlýna z doby, než byla zbourána. Přístavba mlýna z r. 1911 je znatelná zejména uvnitř mlýna. Vně zdivo takřka splývá s původním. Vaculík pak r. 1914 mlýn prodal Karlu Bartkovi z Nivnice, č.p. 112. Za něho a jeho nástupce Josefa Bartka byla prováděna přestavba mlýna v roce 1935. Pamětní deska, vzpomínající J.A.Komenského jako rodáka z tohoto mlýna, byla tam umístěna roku 1942.

Od roku 1892 je vedena ve mlýně pamětní kniha návštěvníků, v níž je dnes již několik tisíc podpisů ctitelů J. A. Komenského z celé vlasti i četných návštěvníků z ciziny.