Au IXème siècle Payra n’était qu’un château fort avec une église et un couvent entourés de murs et de fossés.
Le château dominait le vieux bourg qui s’étendait alors sur l’emplacement du parc actuel.

La seigneurie de Payra appartenait, à cette époque, à la Maison de Marion. Raymond de Marion avait été fermier général (1558-1562) de Catherine de Médicis, comtesse du Lauragais, mère de Marguerite de Valois et Jacques de Marion était en 1584 gouverneur de Montréal pour le service du roi de Navarre Henri IV.
En 1592, cette seigneurie passa, par alliance, dans la Maison de Capriol.

Du côté nord on accède au château par un grand portail donnant sur une cour, autour de laquelle sont édifiées les bâtisses rurales.

L’une d’elles porte un cadran solaire sur lequel on lit l’inscription suivante, dont le caractère démocratique et social ne saurait nous échapper :
« Le soleil luit pour tout le monde ».

À la ferme de Bordeneuve de la Tour se trouve une grotte artificielle divisée en plusieurs petites salles. Ces salles communiquant entre elles par d’étroits corridors et datées de la période préhistorique, furent découvertes par un laboureur.
Elles mesurent environ 4-5 m de long sur 2m 20 de large et 2m 10 de haut et furent creusées de main d’homme dans le tuf argileux. Elles communiquent avec l’extérieur par un seul passage qui est un escalier taillé dans le tuf, non visible avant les fouilles.

Du coté intérieur on remarque de chaque côté une entaille dans la paroi, qui a dû recevoir les chambranles grossiers d’une porte, ce qui tendrait à prouver que cette caverne artificielle a été à une époque récente, habitée, du moins momentanément.
Aujourd’hui ces salles ne sont plus visibles car des fermiers en ont malencontreusement comblé l’entrée.

Sur la rive gauche de l’Hers, à 500m du village, deux petits cours d’eau viennent se réunir au pied d’un mamelon planté de chêne, qui semble commander les vallées de Payra et de Ste-Camelle. C’est sur ce mamelon que se trouve une mystérieuse Motte : La motte de Pech de Nadieu.
Cette Motte ne porte aucun vestige de construction en pierre. C’est un carré de 16m de coté dépassant le sol d’environ 2m. Cette élévation est entouré d’un fossé de 13m de large et de 5m de profondeur.
Elle aurait été en communication optique avec une position fortifié voisine, Payranel ou Petit Payra, où l’on voit encore d’épaisse murailles ayant pu servir de défense.

Le château actuel est le même que celui de l’époque féodale. Vers la fin du XVIème siècle il fut remanié par Marguerite de Valois , qui en fit une superbe résidence et un rendez-vous de chasse. On voit près du village le petit et le grand champs de la Reine.

Au début du 20ème siècle, le Château fut restauré avec goût et bien conservé , avec une façade style Renaissance, et un parc ombragé. Il possède de belles salles avec des cheminées monumentales, un large escalier en pierre, surmonté d’un dôme et d’un oratoire vouté aux fines nervures ogivales sculptées. Dans la cour une ancienne tour de défense servait de pigeonnier.