Grosics Gyula tizenhárom évesen kezdett el focizni a Dorogi AC csapatában. Kezdetben, a gyorsasága miatt a mezőnyben jobbszélsőt játszott, vagy a kapuban kapott helyet. Később így emlékezett, hogyan maradt mégis kapusposzton: „Mindig oda választottak. Pedig nem szerettem védeni. Már azokban az években is irtóztam a kaputól. Szívesebben játszottam volna kint a mezőnyben.” Egy idő után aztán, ahogy jöttek az eredmények, a sikerek, megváltozott a véleménye erről, és szívesen maradt a gólvonal közelében. A felnőtt csapatban való debütálására már egy év múlva, 1940-ben sor került. Miután a dorogiak a háború miatti állandó harckészültség következtében az egyik soron következő idegenbeli bajnoki mérkőzésükre egyik kapusukat sem tudták nevezni, így az alig tizenöt éves Grosics került a kapuba. Jól sikerült a „beugrás”, a csapat győzelemmel tért haza.

Grosics Gyula "munka közben" a pályán (Grosics-hagyaték/ Puskás Intézet) 

1943 és 1947 között a Dorogi AC felnőtt játékosa volt. 1947-től a MATEOSZ, illetve a Teherfuvar kapuját védte. 1950-ben került át a kor sztárcsapatához, a Budapesti Honvédhoz, amely akkoriban az Aranycsapat legendás játékosainak a gyűjtőhelye volt. Összesen 390 bajnoki mérkőzésen lépett pályára és háromszor volt magyar bajnok. 1947-ben, huszonegy évesen Albánia ellen mutatkozott be a válogatottban és 86 alkalommal képviselte hazáját. Tagja volt a helsinki olimpián győztes magyar válogatottnak, 1953-ban pedig Európa-kupa győztes lett. Ugyanebben az évben részese volt a 6:3-as győzelemnek, illetve az ’54-es elvesztett világbajnoki döntőnek is.

Grosics Gyula az Aranycsapat kapusaként, Puskás Ferenc mellett (Grosics-hagyaték/ Puskás Intézet)

Három világbajnokságon (1954, 1958, 1962) szerepelt a kifutásairól is híres kapuvédő, aki elsőként védett fekete szerelésben, így kapta a „Fekete Párduc” becenevet. A vb-döntőt követően, „rendszerellenesként” hazaárulással vádolták meg és börtönnel fenyegették. Ennek következtében Budapestről száműzve a Tatabánya kapujában folytathatta, ahol 1963-ig játszott. 1964-ben abbahagyta a labdarúgást, mert nem engedték, hogy a Ferencvároshoz igazoljon. Nyolcvankettedik születésnapját követően a Ferencvárosi Torna Club igazolt játékosaként a Ferencváros–Sheffield United meccs előtt a kezdőcsapatban tapsolhatott neki az Albert Stadion telt házas közönsége.
1963-tól játékos-edzőként tevékenykedett Tatabányán. 1964-től edzőként dolgozott Salgótarjánban, majd a KSI-nél, később pedig Kuvaitban. Grosics Gyulát a MOB 1995-ben olimpiai érdemrenddel tüntette ki, 2011-ben pedig Buzánszky Jenővel együtt vette át a Nemzet Sportolója kitüntetést.