En 1970, y con sólo 5 años, participó en la película Pound, dirigida por su padre y en la que trabajó junto a su hermana. Entre los años 1970 y 1980 continuó haciendo pequeñas apariciones en las películas que dirigía su padre.
Fue en 1982, con 17 años, cuando Downey decidió dejar la secundaria y volver a Nueva York para iniciar su carrera como actor. Como todos los actores en sus inicios, tuvo que desempeñar pequeños trabajos para sobrevivir, como camarero o en un almacén de calzado, que alternaba con pequeñas producciones teatrales.
En 1983 recibió su primera oportunidad hollywoodense: Baby It's You. A ésta le precedieron Weird Science, El primogénito y Back to School. Dos años más tarde, y gracias a esas actuaciones, llegó al longevo