Родился 4 апреля 1965 года в Манхэттене (Нью-Йорк), младший из двух детей[5]. Его отец — Роберт Дауни-старший — режиссёр, актёр и продюсер, а его мать — Элси (в девичестве Форд) — тоже актриса. У отца Дауни — ирландское и еврейское происхождение, а у матери — немецкое и шотландское происхождение[5][6]. Его отец родился с именем Роберт Элиас, но изменил свою фамилию на Дауни (как у его отчима Джеймса Дауни), когда он был несовершеннолетним и хотел поступить на службу в армию[6][7].
У Дауни были небольшие роли в проектах своего отца в детстве. Он дебютировал в кино в возрасте пяти лет и играл больного щенка в фильме «Загон» (1970), затем в возрасте семи лет снялся в «Дворце Грисера» (1972)[6]. В возрасте 10 лет, он жил в Англии и изучал классический балет, как часть более обширной образовательной программы[8]. Он вырос в Гринвич-Виллидже и учился в учебном центре исполнительских искусств «Stagedoor Manor» в северной части штата Нью-Йорк, когда был подростком. Когда его родители развелись в 1978 году, Дауни переехал в Калифорнию со своим отцом, но в 1982 году он покинул среднюю школу Санта-Моники и переехал в Нью-Йорк, чтобы продолжить актёрскую карьеру[9].