Tordán született, családja a II. világháború vége felé költözött Nagyváradra, Gross innen szökött át 1947-ben Magyarországra. Érettségi nélkül felvették az Iparművészeti Főiskolára.

1949-ben a grafikai tanszék átkerült a Képzőművészeti Főiskolára, itt szerzett diplomát. A főiskolán Hincz Gyula, Kádár György, Konecsni György és Koffán Károly voltak mesterei, de erősen hatott rá Van Eyck, Kondor Béla és Szabó Vladimir művészete is.

Festőnek készült, majd tanulmányozta Rembrandt és Dürer rézkarcait, maga is ilyeneket kezdett készíteni. Folyamatosan dolgozott a rézkarc műfaj teljes megújításán, hogy a korábbi egyhangú, fekete-fehér műveket a szivárvány színeiben pompázó, sodró lendületű, de mégis nyugalmat és harmóniát sugárzó alkotások váltsák fel.

Művein egyetlen apró négyzetmilliméter sem maradhatott szabadon, minden helyet sajátos tündérvilágának városai és lakói, apró lényei, virágai, fái, csodanövényei népesítik be.

Nem titkoltan is mesevilágot ábrázolt, hiszen ars poeticája szerint annyi gond, baj, bánat és szörnyűség vesz körül minket, hogy azt nem szabad még a művészetbe is beengedni.

Több egyéni kiállítása volt Magyarországon, de neve a külföldi közönség körében is ismerősen cseng, hiszen többször állított ki Rómában, Tokióban, Amszterdamban, Londonban, Los Angelesben, Hamburgban és Bécsben. 1966-ban és 1968-ban a Krakkói Grafikai Nemzetközi Biennálén nemzetközi első díjat kapott, képeit megvásárolta a varsói múzeum.

Munkásságáért 1955-ben és 1967-ben Munkácsy Mihály-díjat kapott, 1987-ben érdemes művész lett, 1995-ben Kossuth-díjjal tüntették ki, 2008-ban a Pro Urbe Budapest díjat vehette át. 1993-tól a Széchenyi Irodalmi és Művészeti Akadémia tagja.

Nagyméretű kompozíciói közül a Művészek kertje a Hotel Duna Intercontinentalban, a Kertvárosi álom pedig a Buda Penta Hotelben található. Könyvei is nagy sikert arattak; az Adamis Annával közösen készített Versek és képeket, valamint az 1985-ben megjelent Gross Arnold emlékkönyve szinte pillanatok alatt elfogyott a boltokból.

Utolsó kiállítása 2014 februárjában nyílt meg a budapesti Cultiris Galériában, szeptemberben a XI. kerületi Bartók Béla úton önálló bemutatóhelyet, Gross Arnold Galériát avattak a tiszteletére.
A nemzet művésze díjjal tavaly kitüntetett alkotó temetéséről később intézkednek.