Den äldsta, på ursprunglig plats liggande byggnaden i Kungliga nationalstadsparken, anses vara ”Konung Carl XI:s Fiskarstuga”. Huset är tidigast känt från en handritad Djurgårdskarta från år 1696. Den låga ryggåsstugan med torvtak restaurerades redan år 1818, då en minnestavla sattes upp över ena gaveln. I anslutning till fiskarstugan låg på 1700-talet ett jägarboställe, under lång tid använt till värdshus och några år bebott som sommarställe av Gustaf III:s överhovjägmästare. Fiskartorpets populära värdshus har främst gått till historien genom Carl Michael Bellmans Fredmans epistel nr 71.
Ä´ke det gudomligt,
Fiskartorpet! Hvad?
Gudomligt att beskåda!
På Karl XI:s tid och ända in på 1800-talet låg Fiskartorpet vid ett förgrenat inre sjösystem som hade utlopp i Värtan genom den numera smala Husarviken, på 1780-talet benämnd Fiskesjön. Fisket var ett viktigt näringsfång och tillgången var riklig. På flera ställen i sjön förekommer enligt handritade 1700-talskartor ”fiskefängen” och sump, bottenfasta inrättningar för fångst. Fisket i Husarviken var på Karl XI:s tid endast förbehållet konungen.
Ett angränsande område till Fiskartorpet heter sedan gammalt Fisksjöäng.
Norr om Uggleviken ligger sedan 1902 Fiskartorpsbacken. Nuvarande hopptornet vid skidbacken byggdes år 1935.
