Trpanj má jako staré město ve své dlouhé historii znamenité kulturní dědictví od pozdně antické pevnosti Gradina po kostely, kapličky a památníky.
Na pahorku přímo nad přístavem se rozkládá rozlehlá pevnost Gradina, která vznikla nejpravděpodobněji v nejistých časech pozdně antického období, kdy velký byzantský císař Justinián vyháněl Východní Góty z Ilýrie a budoval řadu pevností podél našeho pobřeží, aby zajistil bezpečnou plavbu.
Schodiště a cesta, která vede k této nejvýznamnější kulturní památce a současně také mimořádné vyhlídce, byly vybudovány roku 1936.
Číst dál: Kulturní památky, místa, která stojí za to navštívit
Již v prehistorii lidé odhalili přitažlivost této lokality, na které se dnes rozkládá Trpanj, a tak můžeme sledovat kontinuitu života na tomto prostoru od těch dávných dob až dodnes.
Na svazích pahorku Gradina, který dominuje přístavišti, byly nalezeny předměty prehistorické keramiky ruční výroby, které společně se stopami kamenných zdí poukazují na to, že zde byla prehistorická osada opevněného typu.
Pokud slovo Trpanj pochází ze slovesa "trpjeti" (trpět), pak obyvatelé tohoto místa již v jeho prvopočátcích museli trpět i proto, že jim příroda nedala dostatek kypré, úrodné země a rozlehlé roviny, na které by s úspěchem mohli rozvíjet svou zemědělskou činnost.