Duff, 2002 yılında şarkıcı Aaron Carter ile birlikte olmaya başladı. Carter, Lizzie McGuire'in bir yılbaşı bölümü için dizi setine gelmişti ve Hilary ile burada tanıştılar. Bu birliktelik yaklaşık bir buçuk yıl sürdü. Ayrılma nedenleri ise, Carter'in Hilary'i Lindsay Lohan nedeniyle bırakmasıydı. Bu olay Hilary'nin kalbini kırdı. Carter ise açıklamalarında sadece üzgün olduğunu söyledi[34] Bütün bu geçen olaylar iki genç şarkıcı ve oyuncunun, Duff ve Lohan'ın, birbirinden nefret etmesine; hatta düşman olmasına neden oldu. 2007 yılının Nisan ayında bu ikilinin barıştığı haberlerde yer almıştır.[35].[36]
Hilary Duff, hasta bir çocukla beraberken...Hilary Duff, 2004-2006 yılları arasında Good Charlotte grubundan, şarkıcı Joel Madden ile beraber oldu.[37] Bu ilişki, ilk kez Duff'ın annesi Susan Duff tarafından, 2005 yılının Haziran ayında, Seventeen adlı magazin dergisi aracılığı ile duyuruldu.[38] Çünkü yapılan dedikodular herkesi rahatsız etmişti. "Elle" adlı magazin dergisinin Hilary Duff ile yaptığı bir röpörtajda (2006-Haziran), Hilary'e bekareti hakkında sorular sorması üzerine kendisinin bu sorulara "İlişkiye girmeyi düşünmedim değil. Bu herkesin yaptığı bir şey" gibi bir cevap vermesi o sıralar dikkatlerin genç yıldızın üzerine çekilmesi oldu.[39]Bu olayların hemen ardından "Much Music" adlı dergiye az önceki gbi bir açıklama yapmadığını söylemesi, ilgiyi tekrar Duff'ın üzerinde topladı.[40] Duff ve Madden 2006 yılının Kasım ayında ayrıldı.[41] 2006 yılının sonları Hilary Duff için ilginç bir olaya sahne oldu. 3 Kasım 2006 tarihinde Duff, izlendiğini ve tehdit edildiğini ileri sürerek polise ihbarda bulundu.[42] Polis, araştırmaları sonucunda Maksim Miakovsy adlı kişiyi yakaladı. Tutuklu suçunu itiraf etti ve ABD'ye Hilary Duff ile romantik vakit geçirmek için geldiğini söyledi.[43] 19 Ocak 2007'de 117 gün hapis ve ardından 5 yıl gözaltı cezası aldı. 2007 Ağustos itibarıyla hala Manhattan hapishanesinde cezasını çekmektedir.[44]
Hilary Duff'ın ,2007 Ağustos ayında Kanadalı buz hokeyi oyuncusu Mike Comrie ile fotoğrafları internette yayınlanmıştır..[45]2007 yılının Eylül ayında ikilinin birlikteliği bir çok yerde onaylanmış ve hatta Comrie Duff'ın 20 yaş doğum günü için bir Mercedes cip almıştır.
Hilary Duff Much Music adlı şov programındayken.(23 Nisan 2007)Hilary Duff, bir çok hayır kurumuna üyedir. Özellikle, hayvanları koruyan bir kurum ve kimsesiz çocuklara yardım eden bir dernek bunların başını çekmektedir.
2005 yılının Ağustos ayında Duff, bir basın açıklamasında ön dişlerinin konser sırasında mikrofonun çarpmasıyla kırıldığını ve onun da takma dişler taktırdığını söyledi.[46] Hayranları, internette bu dişlerin onun yüzüne çok büyük geldiğini hatta onu at gibi gösterdiğini, dişlerinin hemen orjinal boyutuna döndürülmesi gerektiğini dile getirdi. Tüm bu olanlardan sonra Duff dişlerine bir operasyon daha yaptırdı ve düzelttirdi.[47]2005 yılının sonlarına doğru Hilary Duff, tüm işlerinden Eylül ayı içindeki doğum gününe kadar uzak kaldı. Bu arada, üç şarkı yazdığını ve Still Most Wanted turnesine hazırlık yaptığını tatilinin ardından söyledi. Medya, Hilary Duff'ın katıldığı bir şov programında, çok kilo vermiş olarak görülmesinin ardından, yemek yeme ile ilgili bir hastalığının olduğunu iddia etse de bu iddiaları Hilary Duff hemen yalanladı ve kilo kaybetmesini işlerinin çok yoğun olmasına bağladı.[48]
Hilary Duff, 2006 Ağustos'unda New Orleans'a gitti ve yoksul insanlara yemek dağıttı. 2005'te 2.5 milyon kişilik büyüklüğünde yiyeceği Katrina Kasırgası mağdurlarına bağışladı.[49] 2006 Eylül'ünde de With Love... Hilary Duff isimli parfümünü piyasaya sürdü.
Konu: Kişisel hayatı 
