Durant des siècles, les seules constructions furent des cabanes sur la plage. La population augmentait et, en 1679, son importance justifia la construction de la forteresse de São Lourenço pour la défense contre les attaques des pirates du nord de l’Afrique. Le premier édifice en pierre, l’église de Nossa Senhora do Rosário (Notre-Dame du Rosaire), fut érigé en 1698. En 1715, la première habitation en maçonnerie fut ouverte et autorisée au public grâce au privilège octroyé par la reine Marie-Anne d’Autriche. Le XIXe siècle fut décisif pour l’expansion d’Olhão. Elle fut élevée au rang de ville en 1808, comme signe de remerciement du roi João VI (1767-1826) pour la lutte livrée contre les troupes napoléoniennes et pour le voyage héroïque du voilier Bom Sucesso, qui apporta la bonne parole à la Cour, réfugiée au Brésil à cause de l’invasion du Portugal par l’armée du Général Soult. L’activité commerciale développée par les marins d’Olhão s’étend jusqu’à la Méditerranée. Et, finalement, l’industrie des conserves de poisson fait son apparition.