Hilary Duff, Houston, Teksas'ta doğdu. İç mimar olan Susan Coleen Duff ile işletmeci Bob Erhard Duff'ın ikinci kızıdır. Anne Susan Duff, Hilary'ye, ablası Haylie Duff gibi küçük yaşlarda oyunculuk dersleri aldırmaya başladı. Bu derslerin ardından, iki kardeş çeşitli küçük, bölgesel tiyatro projelerinde yer aldı. Hilary altı, ablası Haylie Duff sekiz yaşındayken bu ikili San Antonio'da Fındıkkıran Balesi'nde rol aldı. Ardından profesyonel oyunculuk fikri ikisine de çekici gelmeye başladı ve sonunda anneleri ile Kaliforniya'nın yolunu tuttular. Bob Erhard Duff, işlerini Kaliforniya'dan organize edemeyeceğini düşünerek Houston'da kalmayı tercih etti.[4]. Duff kardeşler burada da hemen fark edildi ve birkaç sene içinde bazı televizyon dizilerinde boy göstermeye başladılar