родился в Манхэттене, Нью-Йорк, младший из двух детей[1]. Его отец — Роберт Дауни-старший — режиссёр, актёр и продюсер, а его мать — Элси (в девичестве Форд) — тоже актриса. У отца Дауни — ирландское и русско-еврейское происхождение, а у матери — немецкое и шотландское происхождение[1][2]. Его отец родился с именем Роберт Элиас, но изменил свою фамилию на Дауни (как у его отчима Джеймса Дауни), когда он был несовершеннолетним и хотел поступить на службу в армию[2][3].
У Дауни были небольшие роли в проектах своего отца в детстве. Он дебютировал в кино в возрасте пяти лет и играл больного щенка в фильме «Загон» (1970), затем в возрасте семи лет снялся в «Дворце Грисера» (1972)[2]. В возрасте 10 лет, он жил в Англии и изучал классический балет, как часть более крупной программы[4]. Он вырос в Гринвич-Виллидже и учился в учебном центре исполнительских искусств «Stagedoor Manor» в северной части штата Нью-Йорк, когда был подростком. Когда его родители развелись в 1978 году, Дауни переехал в Калифорнию со своим отцом, но в 1982 году он покинул среднюю школу Санта-Моники и переехал в Нью-Йорк, чтобы продолжить актёрскую карьеру