Han vaks opp i Haugesund saman med  foreldre (mor Anne Marta, (1882-1961) f. Viland frå Ølensvåg og far frå Søderhamn, Sverige) og ein yngre bror (Paul). I 1927 flytta familien til Ølensvåg, kor dei etterkvart kjøpte eit småbruk. Far (Karl Oscar Granberg, 1883-1966) var handverkar (malar) og arbeide i USA mellom anna på slutten av 1920 talet. At han sendte heim skinn- og lærvarer til familien påverka nok den unge Karl Johan til å fatte interesse for garving. Han bestemte seg 12 år gamal (1932) for å bli garvar. Læretida var under krigen, etterpå gjekk han vidare på skular og jobba i fleire garveri i inn- og utland, før han starta eige garveri i 1951. Dette garveriet (Granberg Garveri & Skinnkonfeksjon) dreiv han  saman med sin bror Paul (1922-1995) til ca. 1961. Frå 1962 dreiv han vidare Granberg Garveri. Kona Ambjørg f. Hovdegard frå Ål (1922-2009) var ved hans side. I 1951 var det ca. 60 garveri i Norge, i 1974 var ca. 20 garveri att.

I dag er Granberg Garveri det einaste attverande garveri med drift i Norge. Våre 40 arbeidsplassar hadde ikkje eksistert utan Karl Johan. Våre kundar hadde i dag ikkje fått norske skinn eller fått behandla sine skinn utan Karl Johans ide i 1932. I dag 100 år etter hans fødselsdag heidrar me hans minne i takksemd.