De ondergrondse resten van de stadsmuur die hier heeft gestaan moeten plaats maken voor de nieuwe kademuur. De toren was daar onderdeel van en is ook tegelijk daarmee in 1429 gebouwd. Hij werd ook wel Toren van de Trappen genoemd, waarschijnlijk omdat hij een trap had waarmee de ‘weergang’ of galerij van de stadsmuur kon worden bereikt. Mogelijk ontleent de toren zijn naam aan het Sint Pontiaansgilde van de lakenkopers, die misschien een rol hadden bij de bewaking van de stad.
In 1647 werd na de aanleg van de Lange Geldersekade de bovengrondse stadsmuur afgebroken.
Tot voor kort was er niet veel bekend van de toren, behalve wat oude afbeeldingen van rond 1600. Met deze opgravingen is er veel nieuwe informatie vrijgekomen over de opbouw van de stadsmuur en de afmetingen van de toren.
