Narodil se 31. října 1932. Jeho otci, Josefu Skružnému, bylo v té době hodně přes šedesát let a byl známým novinářem, spisovatelem, dramatikem a
vydavatelem a v neposlední řadě českým fašistou. Do tragédie roku 1945
vyrůstal Elmar v přepychu, jelikož jeho otec byl velice zámožný a k jeho
rodině patřily služebné, zahradník, řidič, ale také návštěvy významných
osobností.