1961 köpte Svenska Metallindustriarbetareförbundet tomten som Skåvsjöholm står på. Tomten omfattar 110 tunnland/55 ha. Priset för marken var 1 miljon kronor! En del av marken är fin åkerjord och den arrenderas ut till traktens bönder än idag, dels för att hålla naturen och de öppna landskapen runt Skåvsjöholm levande och dels för att tillvarata åkerjorden på ett bra sätt. Skåvsjöholm är ritat, som nämnts tidigare, av en dansk arkitekt, Carl R. Fredriksen. 1963 startades bygget med att spränga bort 15 000 kubikmeter berg och de första spadtagen togs den 19 maj samma år. Skåvsjöholm är byggt av 222 000 danska tegelstenar, 3 000 kubikmeter betong, 6 000 kubikmeter taktegel samt 100 000 kg armeringsstål. I augusti 1965 stod bygganden klar och Skåvsjöholm kunde invigas. Byggkostnaden inklusive markinköpet uppgick då till 11 miljoner kronor.
Som kuriosa kan nämnas att en stor diskussion ägde rum i samband med planeringen av bygganden, diskussionen gällde om det verkligen var nödvändigt att bygga en toalett/dusch till varje separat gästrum. Många ansåg att det var onödig lyx och att det gott och väl räckte med gemensamma toalett– och duschmöjligheter. Som tur var segrade de som förordade en toalett per gästrum!
1994 ändrades Skåvsjöholms inriktning, från att ha varit en förbundsskola för metallarbetare till att bli en konferensanläggning för utomstående. Skåvsjöholm har sedan dess bedrivits som ett eget företag — Skåvsjöholm AB.