Den lilla halvön i norra Brunnsviken rymmer spännande lämningar av en halvt bortglömd och förvildad engelsk park från 1780-talet, anlagd av parkarkitekten Fredrik Magnus Piper. Han betraktas som introduktör av den romantiska engelska parken i vårt land och Tivoliparken är ett av hans förstlingsverk.
Ytterst på Tivoliudden i en liten dalsänka kan man också finna ett monument över den tyskfödde kompositören Joseph Martin Kraus som ligger begravd där. Han avancerade till förste hovkapellmästare vid Gustaf III:s hov, men var sjuklig och dog samma år som kungen 1792, bara 36 år gammal. Kraus sista beställningsarbete som kompositör var en sällsamt intensiv symfoni till den kungliga bisättningen i april 1792, följd av en storslagen högdramatisk kantat vid kungens begravning en månad senare.
Kraus sägs ha funnit inspiration till sin musik under promenader i den romantiska Tivoliparken, men han bodde själv aldrig där. En större timrad panelförsedd paviljongbyggnad på en hög stengrund i Tivoliområdet har ibland felaktigt kallats Kraus paviljong. Den byggdes först år 1800 av ägaren till Bergshamra och Tivoliområdet, statssekreteraren vid utrikesexpeditionen Nils Anton Bark.
