Palotai Károly Békéscsabán született 1935-ben. 1955-től a Győri Vasas ETO-ben játszott. 1956-ban a szintén válogatott sportoló bátyjával elhagyták az országot.
Az NSZK-ban telepedtek le, ahol Károly a Freiburg csapatában játszott. 1958-ban hazatért, ismét a Győrben focizott, egészen 1967-ig. Csapatával bajnokságot és három Magyar Népköztársasági Kupát nyert.
Az 1964-es tokiói olimpián a magyar csapat kapitányaként lett olimpiai bajnok, de a döntőn sérülés miatt nem vehetett részt.
Tagja volt annak a csapatnak, ami 1965-ben a Bajnokcsapatok Európa-kupájában az elődöntőig menetelt, ahol a Benficatól kaptak ki. 1955 és 1967 között összesen 171 bajnoki mérkőzésen 45 gólt szerzett. Labdarúgókarrierjét 1967-ben egy sérülés törte meg.
Már aktív játékosként elvégezte a játékvezető tanfolyamot. 1967-től fújta a sípot, 1970-ben már élvonalbeli találkozón is bíráskodott.
Három világbajnokságon és három olimpián vett részt, két BEK-döntőt is ő vezetett. Mindig arra törekedett, hogy bíróként a játékosok partnere legyen a pályán.