Z tą Górą, jak z większością miejsc kultu religijnego, związany jest cały szereg legend i barwnych opowieści. Dotyczą one zarówno cudownej figurki św. Anny, jak i miejsca, które sobie obrała za miejsce kultu. Jedna z legend powiada, że tędy powracał do domu z wojennej wyprawy książę hiszpański, wioząc wśród łupów wojennych posążek św. Anny. Kiedy woły wjechały na szczyt Góry, stanęły w miejscu i za nic nie chciały ruszyć dalej. Książę uznał to za znak nieba i wzniósł na szczycie Góry kościół, w którym postawił figurkę św. Anny. Kronikarz klasztorny zanotował, że po osiedleniu się na Górze Franciszkanów podczas budowy klasztoru natrafiono na ślady głębokich piwnic klasztornych, a uprawiając ogród niejednokrotnie wykopywano kości ludzkie. Zatem nie jest wykluczone, że już w średniowieczu znajdował się tu klasztor z kościołem bądź kaplicą św. Jerzego, stąd być może pochodzi pierwotna nazwa Góry, góra św. Jerzego. Inne zapiski mówią, że była tu kaplica św. Jakuba, ale wojny i pożary dzieła zniszczenia dokonały, i nie zachowały się żadne wiarygodne dokumenty. Dopiero wiek XVI rzuca nieco światła na historię Góry św. Anny. Z tego okresu pojawia się pierwsza oficjalna wzmianka o kościele na szczycie Chełmskim pochodząca z 1516 r. Mikołaj Strzała, właściciel dóbr Poremby, Leśnicy i Zdzieszowic, oddał w zarząd proboszczowi z Leśnicy kościół znajdujący się na Górze Chełmskiej. A zatem dzieje pierwszego znanego kościoła na Górze związane są z rodem szlacheckim Strzałów. Właściwie nikt nie wie, skąd się wziął posążek św. Anny, wiadomo tylko, że jest tu od dawna, przypuszczalnie powstała wcześniej niż wybudowano świątynię. Znawcy sztuki powstanie posążku datują na połowę XV stulecia. Przedstawia ogromną wartość historyczną i artystyczną. Należy do najstarszych rzeźb drewnianych na Śląsku. Jest to rzeźba prymitywna o wysokości 66 cm, pomalowana w kolory: zieleń i czerwień. Niektóre partie rzeźby posiadają aż trzy warstwy farb co dowodziłoby kilkukrotnego odnawiania rzeźby. Św. Anna w lewej ręce trzyma córkę, NMP, a na prawej wnuka, Jezusa Chrystusa. W górnych partiach rzeźby św. Anny. Widoczna jest lakowa pieczęć Prowincji Najświętszej Maryi Anielskiej z Małopolscki. Proboszcz z Leśnicy, któremu podlegał kościół ze szczytu Chełmskiego, nie był w stanie otoczyć go odpowiednią opieką duszpasterską. Hrabia Melchior Ferdynand, który był człowiekiem pobożnym, powziął zamiar, aby dla nieustającego kultu św. Anny, sprowadzić do kościoła na Górę Franciszkanów. Kilkakrotnie prosił o to Franciszkanów-Reformatów Prowincji Małopolskiej w Krakowie. Ci jednak długo zwlekali z podjęciem decyzji. Był rok 1655, czas najazdu szwedzkiego na Polskę. Protestanckie oddziały wojsk szwedzkich nie cofały się nawet przed grabieżą kościołów i klasztorów. Kiedy Szwedzi zagrozili miastu Kraków, broniący miasta hetman Czarniecki polecił spalić budynki przyległe do murów miejskich. Spalono wówczas klasztor Reformatów. Franciszkanie z Krakowa i Lwowa schronili się przed najeźdźcą w niewielkim franciszkańskim klasztorze w Gliwicach. Klasztor ten nie mógł pomieścić wszystkich zakonników, więc władze zakonne postanowiły spełnić prośbę Melchiora Ferdynanda i osiedlić na Górze Chełmskiej część swoich współbraci. Dnia 6 sierpnia 1656 r. hrabia Melchior Ferdynand przekazał Franciszkanom klucze kościoła św. Anny, wraz z aktem darowizny, szczegółowo opisującym wielkość klasztornych włości. Kiedy wojska szwedzkie zagroziły bezpośrednio Krakowowi, król Jan Kazimierz musiał szukać schronienia w księstwie Opolsko-Raciborskim, które na mocy układu zawartego w 1645 r. Para królewska zatrzymała się w Głogówku u wiernej sobie rodzinie Oppersdorfów, Franciszek Euzebiusz hr. Oppersdorf był bowiem prawą ręką królowej Marii Ludwiki w zarządzaniu Księstwem Opolsko-Raciborskim. Korzystając z pobytu króla w pobliżu Żyrowej i Góry Chełmskiej hrabia Melchior Ferdynand de Gaschin zwrócił się doń z prośbą o potwierdzenie aktu darowizny na rzecz Franciszkanów, co też król uczynił dnia 16 czerwca 1657 r.
