Nog geen 20km van Portimão verwijderd ligt het stille stadje Silves, dat nog steeds droomt van zijn grote verleden.
De ligging van Silves was ideaal voor een sterkte nederzetting. De Romeinen bouwden hier al een kasteel, maar pas onder de Arabieren kwam de stad als moorse hoofdstad Xelb tot bloei. In de 12de eeuw prees de Arabische geograaf Idrisi de schoonheid van de stad en zijn heerlijke vijgen. In het moorse Al-Gharb stond Silves bekend als een cultureel centrum van dichters, oratoren en historici. Hieraan kwam in 1242 een einde toen de ridders van Santiago de stad veroverden. Tot de 15de eeuw, toen de rivier de Arade verzandde, was Silves een welvarende havenstad. Nu is de stad economisch afhankelijk van het citrusfruit uit de omliggende boomgaarden. Alleen de overblijfselen van het Castelo, de machtige Morenburcht van rode zandsteen, die boven de stad troont, herinneren aan de roemruchte tijd. De grote onderaardse regenputten van de burcht voorzagen de stad lange tijd van water
Kasteel
Het rode zandstenen kasteel stamt grotendeel uit de tijd der moren, hoewel het ook door de christenen is gebruikt, als vesting en later als gevangenis. Het was vanaf 1053 de residentie van Al-Mu’tamid, de toenmalige heerser van Sevilla en gouverneur van Al-Gharb. De bolwerken bieden een fraai uitzicht over de stad. Binnen de muren ligt de moorse Cisterna da Moura Encantada (cisterne van het betoverde moorse meisje) met de watervoorraad van de stad.

Kerk Nossa Senhora dos Mártires, de oorspronkelijke bouw stamt uit de 12de eeuw, alsook de kathedraal van Silves aan het Lagro da Sé, die als de oudste kerk aan de hele kust van de Algarve wordt beschouwd.