Just, qui a donné son nom à la ville, serait né entre 330 et 340 à l’endroit connu aujourd’hui sous le nom de Puy-Parlier dans une famille de cultivateurs. Instruit dans la religion dès son plus jeune âge, il est ordonné prêtre et aurait alors accompli le miracle de redonner la vue à un aveugle.
Just serait décédé sur le chemin du retour d’un pèlerinage à Rome et le brancard sur lequel il était transporté se serait immobilisé à l’endroit où l’église a été construite pour protéger son tombeau.
La tradition orale raconte que Just aurait choisi l’emplacement de l’église en lançant un marteau depuis le lieu-dit Le Verdeau et que celui-ci aurait décrit une trajectoire de deux kilomètres. Le nom « le Martel » a été ajouté en 1919.
L’église actuelle date du 12ème et 13ème siècle. Elle possède un clocher mur typiquement limousin. Une belle châsse de 1644 renferme les reliques de Saint Just.