Förr användes Ladugårdsgärde årligen som militär exercisplats. Ofta brukade de kungliga följa övningarna från Drottningbergets krön. Särskilt betydelsefullt blev detta under Karl XIV Johans tid, då Borgen 1818-1823 byggdes på denna plats. Härifrån kunde majestätet leda de militära manövrarna och här dukades den kungliga taffeln upp.
Den tältinspirerade Borgen skapades av arkitekt Fredrik Blom och uppfördes enligt principen ”flyttbart hus”, konstruerat med delvis prefabricerade byggnadsdelar. Förutom huvudbyggnaden Borgen ligger här en södra flygel, Kungens paviljong, och en norra, Kronprinsens paviljong. Efter en eldsvåda 1977 nyuppfördes huvudbyggnaden i samma utseende som den tidigare hade.
Under andra världskriget sprängdes en större stabs- och sambandsplats, en radiostation för Stockholms militärbefälhavare, in i Drottningberget. Lokalerna finns alltjämt kvar, men de väl dolda ingångarna i berget är numera igengjutna.
