Zakladatelkou poutního místa na Chlumku v Luži byla Marie Maxmiliána hraběnka ze Žďáru (1633 - 1690), provdaná za Jindřicha Viléma Slavatu na Košumberku (1654) a později za Františka Kryštofa Hieserla z Chodova (1666). Pocházela z velmi činorodého katolického prostředí. Její otec, Florián Dětřich Žďárský ze Žďáru, založil u Prahy poutní místo Hájek sloretánskou kaplí a františkánským klášterem. Její matka byla zrodu Martiniců, kteří právě jako Slavatové přispěli k rekatolizaci českého prostředí.
Od svého bratra Františka Eusebia Žďárského ze Žďáru získala hraběnka milostný obraz Panny Marie Pasovské, který přechovávala v kapli hradu Košumberku. Snaha o zpřístupnění tohoto vyobrazení širší veřejnosti ji vedla k založení a vybudování poutního místa na Chlumku. Uctívaným obrazem byla Panna Maria Pomocná, tzv. Pasovská. O tomto obrazu uváděla sama zakladatelka, že jde o kopii originálu L. Cranacha z Innsbrucku, kterou údajně namaloval týž malíř, který pořídil i kopii uctívaného obrazu v Pasově.
20. prosince 1664 požádal František Kryštof Hieserle, hraběnčin druhý manžel, opovolení ke stavbě kaple Panny Marie. K rozsáhlému stavebnímu podniku přistoupila hraběnka až o tři roky později. Jak sama uvádí: "Léta Páně 1667 14. Augusty ... z vlastního měšce ... začato dílo na kapli s kostelíčkem na kopci (slovo Chlomek) nad městem Luže ležící pod titulem Narození Blahoslavené Panny Marie". Královehradecký biskup Matouš Ferdinand Sobek z Bílenberka posvětil 5. srpna 1668 základní kámen a 8. září 1669 byla hotová svatyně vysvěcena.
Tehdy byl vybudován na vyvýšenině mezi hradem Košumberkem a městem Luže areál obdélného půdorysu, vymezený ohradní balustrádou, proloženou čtyřmi většími a čtyřmi menšími kaplemi, které se dochovaly do dnešní doby. Vzhled ústřední svatyně neznáme, z poznámek hraběnky Hieserlové a pamětní knihy lužské usuzujeme, že šlo o typ kaple Panny Marie v Altöttingu v Bavorsku. Předpokládáme, že napodobovala nejen altöttingskou románskou centrálu, ale také k ní později přistavěnou loď. Podobala se zřejmě kostelíku za pražskou Strahovskou branou, který vystavěl hrabě Bernard Ignác Martinic roku 1666 a který byl napodobeninou svatyně v Altöttingu.
Areál na Chlumku byl svým založením pozoruhodný. Ideovou náplň jistě stanovila zakladatelka, usměrňovaná jezuity, kteří se v té době již objevovali na Košumberku. Zdejší "svatá hora mariánská" vychází zřejmě z osvědčeného poutního typu loretánských kaplí s ambitem, provedením se však přece jen značně liší. Obdélná, v rozích okosená terasa na vyvýšenině, s balustrádou a čtyřmi kaplemi v nárožích a výklenkovými v delších stranách, které obklopovaly ústřední svatyni, dokládají zručnost a slohovou pokročilost neznámého navrhujícího stavitele. Rovněž průčelí jednotlivých kaplí s představenými sloupy, bohatě dekorovanými, o tom svědčí.