Początki miejscowości sięgają pierwszej połowy XIV w. W szesnastym stuleciu właścicielami Krasnej Góry była rodzina von Gellhorn. W rękach rodziny von Schaffgotsch majątek był do końca drugiej wojny światowej. W czasach Schaffgotschów dwór w Krasnej Górze był siedzibą zarządcy majątku. W 1930 i 1937 r. W Polsce Ludowej posiadłość została znacjonalizowana, w dawnym folwarku urządzono Państwowe Gospodarstwo Rolne, a dwór przeznaczono na biura i mieszkania. Obecnie zabytek w dalszym ciągu jest wielorodzinnym budynkiem mieszkalnym i można go zobaczyć tylko z zewnątrz.
