Í kaþólskum sið voru Haffjarðareyjar stórbýli og kirkjustaður. Lítið sér nú eftir af þeirri fortíð eyjanna þriggja milli Haffjarðarár og Skógarness, aðeins bæjarhóllinn er áberandi í landslaginu. Ekki er sýnilegur gamli kirkjugarðurinn í Bæjarey. Þar fann Vilhjálmur Stefánsson margar hauskúpur, alls engar með tannskemmdum. Byggð hélst í eyjunum fram á fyrsta fjórðung átjándu aldar, en þá fóru þær endanlega í eyði vegna sjávargangs og landbrots. Túngresi er enn töluvert í eynni, en undirlagið hefur breyzt í mosa.
