Selon les vieux écrits, le terme "burg" signifiait en germanique "Château fort", puis passant par le celte et le vieux français, il fut employé pour désigner une assemblée de maisons agglomérées auprès d'un château fort dit burg, par opposition à villa : domaine rural.

Enfin au XVI ème siècle le bourg était un gros village où se tenait le marché des communes voisines.

On y voit encore les ruines d'un manoir féodal qui appartenant au seigneur de Castelbajac. D'énormes pans de murailles, débris du donjon, d'une épaisseur qui dépasse trois mètres, attestent l'importance de cet édifice. On y distingue très bien les traces du fossé qui a quatorze mètres de largeur, et la place où était le pont-levis. Deux hautes murailles entouraient ce fossé. Celle de l'intérieur s'est parfaitement conservée ; dans certains endroits elle a plus de quatorze mètres de hauteur ; le mur extérieur n'est plus représenté que par quelques vestiges de ses fondements.

Le château dut être brûlé par Montgomméry. On trouve encore, l'endroit où campa l'ennemi : c'est une redoute fortifiée dont le fossé extérieur a quatorze mètres de profondeur et qui porte le nom de Castet de la garde, nom qui indique qu'en ce lieu s'élevait une tour servant aux signaux des trois châteaux de Castelbajac, de Montastruc et de Burg.[1]

L'église offre des particularités curieuses. Le chœur était la chapelle du manoir féodal, aux ruines duquel il est presque attenant. La voûte, très basse, n'ayant pas cinq mètres de hauteur, est en brique, et d'une solidité remarquable. On y remarque deux nervures se croisant. Un tableau représentant saint Laurent, étendu sur un gril ardent, date de la fondation de la chapelle, c'est-à-dire du XIIe au XIIIE siècle. Aux côtés de l'autel sont les statues de Saint Pierre et de Saint Paul, de grandeur naturelle, appartenant à la même époque, et tombant de vétusté.

Sur la voûte de nef, de vieilles fresques représentent les principaux personnages de l'Ancien Testament, et les traits les plus saillants de la vie de la Sainte-Vierge et de Notre-Seigneur Jésus-Christ (27 peintures).

Deux poutres transversales qui soutiennent les murs du nord et du midi sont couvertes de vieilles inscriptions. Sur l'une d'elles on lit ces mots : ...1541 et lo XXVIIIe juin fut acabade la peinture, éran obries ... (le reste est illisible). Sur l'autre : Per noble Jan de Castelbajac et la noble Françoise en l'aunou de Madame la Vierbe Marie et Monsieur St-Laurens.

Cette église n'est pas la seule que Burg ait possédée. Au nord du village est l'emplacement encore couvert des décombres d'une autre église paroissiale ; le chemin qui y conduit s'appelle toujours Carmi de la Gleize.[1]

Au centre du village, se trouve une route appelée Cami dés chéstias (chemin des chrétiens), à la naissance duquel existe le reste d'un vieux mur qu'on croit avoir appartenu à une tour construite par les chrétiens lors de l'invasion des Sarrasins sous la conduite d'Abdérame. Ce qui donne une certaine consistance à cette tradition, c'est l'existence, au bord du chemin conduisant de Burg à Castelbajac, d'une fontaine dite encore aujourd'hui Houn des Sarrazis.[1]