Palotai Károly 1935. szeptember 11-én Békéscsabán született. Pályafutását tizenöt éves korában szülővárosában a Békéscsabai Előrében kezdte. 1955-ben a Győri Vasas ETO labdarúgója lett. 1956-ban harmadmagával, a válogatott kapus bátyjával, Palotai Jánossal és Pálffy Antallal disszidált az országból. Az NSZK-ban két évet élt, ezalatt a Freiburg csapatában játszott. 1958-ban úgy döntött, hogy hazatér. 1959-től ismét a győri együttes játékosa lett, ahol 1967-ig szerepelt.
A technikás jobbfedezet az ETO-ban 171 bajnoki mérkőzésen 45 gólt szerzett, 1963-ban magyar bajnok, illetve háromszoros MNK-győztes (1965, 1966, 1967) lett. Csapatkapitányként volt részese 1965-ben az ETO legnagyobb sikerének: a klub a Bajnokcsapatok Európa Kupájában egészen az elődöntőig menetelt, azonban ott kiesett a portugál Benfica ellenében.1967-ben a Magyar Népköztársaság Kupa-döntőn megsérült ezért a játékos pályafutását be kellett fejeznie.
1964-ben az olimpiai válogatott csapatkapitányaként bajnoki címet nyert Tokióban. Sérülése miatt azonban nem játszhatott a döntőben, így az akkori szabályok szerint aranyérmet sem kapott, ugyanis a japán szervezők csak a döntőben pályára lépő játékosoknak adtak át érmet. És hogy mennyire szerették őt a rajongói, arra jó példa, hogy a meg nem kapott olimpiai aranyérmet később a győri szurkolók, az olimpiai bizottság hozzájárulásával, elkészítették számára. Az olimpiai válogatottban 15 mérkőzésen két gólt szerzett, míg a B-válogatottban 8 fellépésén egyszer volt eredményes.

A jövőbeni játékvezetői pályafutásra tudatosan készült és már játékosként, 1959-ben levizsgázott a szabályokból. A labdarúgó karrierjét befejezve, 1967-től először megyei szintű labdarúgó osztályokban fújt, két évvel később pedig NB II-es játékvezető lett. 1970-ben mutatkozott be az NB I-ben. Palotai Károly az egyetlen, aki játékosként és játékvezetőként is részt vett a BL-ben, illetve még annak elődjében, a Bajnokcsapatok Európa Kupájában. Egy időben ő volt Európa legjobban foglalkoztatott FIFA-játékvezetője. A nemzetközi porondon 143 mérkőzést vezetett, köztük 27 válogatott találkozót. Három olimpián (1972, 1976, 1980) és három világbajnokságon (1974, 1978, 1982) fújta a sípot, vezetett két BEK- (1976, 1981), egy-egy KEK- (1979), UEFA Kupa- (1975) és Szuperkupa döntőt is (1978).

A Puskás Intézet birtokában is találunk Palotai-emléket: a sípmester ugyanis 1976. november 3-án BEK-mérkőzést vezetett Torinóban. A hazai pályán játszó Juventus és az angol Manchester United találkozott, mintegy 65.000 néző előtt. A Trappatoni-féle torinói alakulat 3-0-ra verte a „Vörös Ördögöket”, Palotai Károly játékvezető pedig ezen alkalomból képeslapot küldött Krizsán József MLSZ főtitkár részére.

Az aktív játékvezetést 1983-ban fejezte be. Összesen 215 hazai élvonalbeli mérkőzést vezetett és ezzel az örök ranglistán Bede Ferenc, valamint Puhl Sándor mögött a harmadik legtöbbet foglalkoztatott magyar játékvezető a rangsorban. Számtalan elismerése mellett 1996-ban a FIFA International Referee Special Award címmel és oklevéllel tüntette ki, a 100 éves MLSZ jubileumi emlékérmet pedig 2001-ben vehette át. Az UEFA 2016-ban a budapesti kongresszusán életműdíjjal ismerte el pályafutását.