Již v roce 1881 dala královna Saská Karola postavit na počest své matky Louisy, princezny z Vasů, chudobinec pro 12 chudých panství moraveckého. K ošetřování chudých a nemocných a k vedení chudobince povolala královna Karola Milosrdné sestry svatého Karla Boromejského z polského Těšína. Sestry Boromejky působily na Moravci až do roku 1953. Hlavním zpovědníkem sester boromejek byl moravecký farář P. Kašpar Dunda. P. Kašpar Dunda přišel na Moravec v roce 1880, brzy si svojí upřímností, skromností a zbožností získal důvěru a přízeň svých farníků. Byl hlavním iniciátorem stavby Sanatoria svatého Rafaela. Základní kámen sanatoria byl položen 7. 9. 1905 a slavnostně vysvěceno a předáno do užívání dne 25. 8. 1907. P. Kašpar Dunda založil z některých františkářských terciářek "Družinu III.řádu sv. Františka na Moravci pod ochranou sv. archanděla Rafaela". Družina bydlela ve vlastní budově při Sanatoriu, vedla řeholní život s představenou v čele. Sanatorium se velice brzy stalo vyhledávaným místem, kde se lidem vracelo tělesné zdraví pomocí vody studené - střiky, omývání, páry - parní lázně, odvarů z bylin a slunečních lázní. Před druhou světovou válkou i během ní byla činnost Sanatoria velice omezena a již se v plné síle neobnovila. Po druhé světové válce se sice zdálo, že sestry rafaelky budou moci obnovit svoji činnost v Sanatoriu. Ale přišla léta padesátá a s nimi proti církevní politika komunistického režimu, jejímž cílem byla likvidace řeholních řádů, perzekuce a pronásledování kněží, řeholníků a řeholnic. Zatímco řeholníci byli vyhnáni ze svých klášterů v noci ze 13. na 14. dubna 1950, řeholní sestry byly odsunovány na podzim téhož roku. Ve dnech 26. 27. září 1950 bylo 19 sester rafaelek převezeno z Moravce do Rýžoviště v okrese Bruntál.
Budova Sanatoria osiřela. Ale již za krátkou dobu měla plnit nové poslání. Kněží a řeholníci, kteří byli nuceni opustit své kláštery, byli umisťováni do pracovních táborů případně přidělováni k "PTP" (pokud byli zdraví a práce schopní), někteří byli internováni v internačních táborech. Pro ty, kteří již byli staří a práce neschopní byli zřizovány "soustřeďovací tábory". Jeden ze soustřeďovacích táborů vznikl i na Moravci. Dne 10. května 1951 byl v budově bývalého Sanatoria zřízen Charitní domov pro přestárlé kněze pod vedením České katolické charity v Praze. Kněží a řeholníků rychle přibývalo a už nebylo volného místa, kam umístit další. Proto byla k Charitnímu domovu pro duchovní dne 15. dubna 1953 přičleněna budova zaopatřovacího ústavu charity bývalého chudobince Louisin dům. Počet řeholníků a kněží v té době umístěných v Charitním domově na Moravci přesahoval 160. V charitním domově panoval řád a řeholníci byli stále pod dohledem. Je třeba vyzdvihnout velké úsilí, mnohdy až hrdinství, řeholních sester, které se snažily různá příkoří na řeholnících a kněžích vynahradit láskou a láskyplnou službou. Po roce 1960 charitní domov fungoval jako jakási "úschovna" kněží a řeholníků, odkud si je příslušníci státní bezpečnosti "vyzvedávali" k výslechům a také do vazby.
Po "sametové revoluci" v roce 1989 (i o něco dříve) se mohli kněží a řeholníci vracet do svých klášterů a do svých domů. Mnoho jich toho využilo a obyvatel charitního domova začalo ubývat. proto se vedení České katolické charity rozhodlo zlepšit životní podmínky obyvatel zmenšením počtu obyvatel na pokojích a také tím, že do charitního domova mohli být přijímáni muži laici, od roku 1993 i ženy - farní hospodyně, maminky kněží i ostatní ženy. V charitním domově se vystřídalo více než 600 kněží a řeholníků, z nichž je více než 230 pohřbeno na moraveckém hřbitově. Výpisky z pamětního spisu v r. 1900 uloženém ve věži kostela ze školní kroniky a časopisu „Vlastivěda moravská“ Tvrz „ Varta Moravecká se připomíná již r. 1370 – teprve r. 1630 se uvádí pod jménem zámek. Královna Karola byla poslední potomek větve Vasů. Starší linie tohoto rodu dala Rusku cara Petra III. (1762), z linie mladší stal se vévoda Adolf Bedřich králem ve Švédsku a přijal příjmení Vasa. Jeho syn Gustav (r. 1799) přijal za choť princeznu Bádenskou – Louisu 1830, dceru velkovévody Karla Ludvíka a choti Štěpánky, adoptivní dcery Napoleona I. Princ Gustav Vasa a choť Louisa měli dceru Karolu, která se narodila 5. 8. 1833 v Schönbrunu, kde bydlela její matka na pozvání císaře Františka I. Za kmotry jí byli císařští manželé. Její otec Gustav V. sloužil tehdy v rakouské armádě jako generálmajor a brigádník ve Vídni. Jeho majetkem byl také starobylý zámek ve Veveří na Moravě. Tam také prožila princezna Karola léta mládí.
Asi 1840 byli rodiče rozvedeni. S otcem zůstala Karola dále v srdečném poměru. Veveří museli pro dluhy prodat. Aby matka Louisa s dcerou měly domov, koupily r. 1842 panství Moravec. Karola byl evangelička a přes velké protesty svého otce přijala víru katolickou. Roku 1852 byl kostel po vyhoření zcela obnoven. Princezna Karola byla velkou dobroditelkou lidu i kostela. Od roku 1842-1854 byla majitelkou panství na Moravci Louisa princezna z Vasu, po ní její dcera Karola 1854-1858. Princ Albert saský navštívil Moravec a požádal Karolu o ruku. 18. 6. 1853 se konal sňatek 18. 7. 1854 zemřela Louisa v králově Poli, kde žila. Roku 1873 nastoupil na trůn saský Albert a Karola. Jako královna založila Karola mnoho dobročinných ústavů, mimo jiné i moravskou faru. Sama děti neměla. Z Moravce se jí těžko odcházelo. Píše o tom: „ Naposledy jsem zde doma. Srdce mne bolí, když pomyslím na hranice Rakouska. Miluji zemi tu víc, než sama vím.“ Roku 1881 postavila Karola – královna saská ke cti a chvále Boží a ku blahu svých milých starých moravských, jakož i na trvalou památku a ke spáse své matky Louisin dům, obecně zvaný klášter, který téhož roku 4. 11. 1881 posvětil farář P. Kašpar Dunda. Roku 1882 – 1904 navštívila královna Karola desetkrát Moravec. Roku 1858 prodala panství Moravec za 485 000 zl. Gabrielovi, říšskému svobodnému pánu Gudenusovi.
Původní záměr P. Kašpara Dundy