Er begann 1981 mit der amerikanischen Turnerin Mary Lou Retton zusammenzuarbeiten. Drei Jahre später, bei den Spielen 1984 in Los Angeles, sicherte sich der 16-Jährige als erster Amerikaner den olympischen Mehrkampftitel.
Karolyi prägte in den folgenden Jahrzehnten zusammen mit seiner Frau Marta das US-amerikanische Turnen.
Karolyi zog sich nach den Spielen in Atlanta 1996 als Trainer zurück, wurde jedoch 1999 als Koordinator der US-Nationalmannschaft eingestellt und verbrachte etwas mehr als ein Jahr in dieser Funktion.
Die Karolyis betrieben auch ein Ausbildungszentrum in Texas, bekannt als „Karolyi Ranch“.
Im Jahr 2001 wurde es zum Trainingszentrum für die US-Frauen-Nationalmannschaft, als Marta zur Koordinatorin der Frauen-Nationalmannschaft ernannt wurde.
Allerdings stoppte USA Gymnastics 2018 die Nutzung des Veranstaltungsortes nach dem Missbrauchsskandal um den ehemaligen Mannschaftsarzt Larry Nassar.
Nassar wurde zu 40 bis 175 Jahren Gefängnis verurteilt, nachdem er sich in zehn Fällen des sexuellen Übergriffs auf Mädchen und junge Frauen sowie des Besitzes von Kinderpornografie schuldig bekannt hatte.
Während des Skandals meldeten sich über ein Dutzend ehemalige Turner, extern Sie sagten, die Karolyis seien Teil eines Systems, das eine repressive Kultur geschaffen habe, die es Nassars Verhalten erlaubt habe, unkontrolliert zu wirken.
Einige der Opfer behaupteten auch, sie seien von Nassar im Trainingszentrum in Texas misshandelt worden.
Karolyi und seine Frau sagten jedoch 2018 gegenüber CNN, extern dass sie sich der Verbrechen Nassars nicht bewusst waren und jegliches Fehlverhalten bestritten.
