I Kollerup og Kettrup kirker ses Gyldenstjernernes adelsvåben og navnetræk på stolestader og prædikestol.Aagaard dukker op i de skriftlige kilder i første halvdel af 1300-tallet, hvor Erik Nielsen Gyldenstjerne som den første med sikkerhed kan sættes i forbindelse med gården. Tidligere i Gyldenstjerne-slægten skal der have været en Erik Langben, som ifølge sagnet er begravet i en nærliggende høj.
Erik Nielsen Gyldenstjerne bliver ca. 1345 udnævnt til ridder og marsk af kong Valdemar Atterdag. Sønnen Niels Eriksen Gyldenstjerne får sammen med Kristine de Ager (Aagaard) otte børn, som fordeler sig på tre slægtslinjer, henholdsvis til herregårdene Store Restrup, Aagaard og Tim.
Peder Nielsen Gyldenstjerne, som bliver stamfar til Aagaard-linjen, ses som medunderskriver af Kalmarunionen ved Erik af Pommerns kroning til konge over Danmark, Norge og Sverige i 1397.
Under bondeoprøret i 1441 ejes Aagaard af sønnen Niels Pedersen Gyldenstjerne, som måtte se sin gård blive brændt ned af de oprørske bønder. Alt gik tabt – også hans dokumenter:
»Hr. Niels Pedersens Gaard, Gods og alle hans Breve vorde brændte for Rigets Skyld, saa han kom af sin Gaard ikke uden med en Stav i sin Haand,« som det hedder i et dokument (tingsvidne) fra Han Herreds Ting 17 år efter.
Bønderne havde fået nok af undertrykkelsen fra adelens og kirkens side, herunder Børglum-bispen Gert Pedersen, som var bror til herremanden på Aagaard. En anden bror, Anders Pedersen, rejste til England og antog navnet Andrew Ogarde. I hans slægt fødtes den kendte forfatter H. Rider Haggard, som i 1885 udgav romanen »Kong Salomons Miner«. (Ogarde og Haggard = Aagaard).
I 1441 – samme år som bondeoprøret – fik Niels Pedersen Gyldenstjerne sønnen Mourits, som regnes for den mest betydningsfulde blandt samtlige Aagaards ejere og samtidig en af landets rigeste adelsmænd på den tid. I 1496 holdt Mourits og fru Margrete et mægtigt julegilde, som demonstrerede Gyldenstjernernes position som førende adelsfamilie.
En mandtalsliste fra 1499 beretter, at der var 69 personer på gården, heraf 50 på borggården og 19 på ladegården.
I Kollerup og Kettrup kirker ses Gyldenstjernernes adelsvåben og navnetræk på stolestader og prædikestol.
Aagaard var i Gyldenstjernernes besiddelse til 1627, hvorefter andre kendte adelsslægter som Rosenkrantz, Rantzau, Grabow og Benzon tog over. Helt frem til midten af 1800-tallet hørte der et stort antal fæstegårde under Aagaard, og fæsterne måtte både betale afgifter og yde arbejdskraft til herregården.