En anmärkningsvärt speciell stad, uppdelad i hamnområdet, Karlovassis gamla centrum, den mellersta staden, den nya och bukten. Därför talar invånarna i deras stad i Karovasias flertal.
Namnet skulle härledas från de turkiska orden Karli-Ovasi, vilket betyder snöig dal, men eftersom det nästan aldrig snöar i Karlovasi, har många människor allvarliga tvivel om huruvida den här historien är sant.
Författaren Zafeiriou stöder tanken att platsen ursprungligen kallades Kariova, senare ändrad till Karlovassi. Nikos Dimitriou skriver i sin bok Samos folklore att stämningsnamnet härrör från efternamnet Karlovas, det är förmodligen den rätta tolkningen.
Karlovassi var en gång ett viktigt kommersiellt och industriellt centrum för bearbetning av läder, med en stor exportvolym. De många herrgårdarna, de stora och rikligt inredda kyrkorna och övergivna fabriker vittnar om hans tidigare välstånd. 3 km sydost om Karlovassi, bredvid vägen som leder till Konteika, är Profit Elias kloster (Profeten Elias) på en höjd av 200 meter. Dess konstruktion började 1739 av munkarna Neophilos och Gregorios.
Västra Karlovassi är också stranden i Potami. Det finns en varm vår och kapellet Metamorphosi går tillbaka till 1100-talet och anses vara den äldsta på Samos. Det matematiska institutet vid Egeiska universitetet är inrymt i en unik byggnad i staden.
Du kommer förmodligen inte att hitta den kosiness du hittar i Kokkari och Pythagorion. Den vackraste delen av staden är den gamla staden, byggd på en kulle söder om hamnen. I denna del, byggd 1650 och nu kallad Palio Karlovassi, står Agia Triada kyrkan på kullen.