Aradan geçen 10 yıldan sonra 3. stüdyo albümlerini, anlaştıklarını firma EMI’dan çıkarmaya hazırlanan The Libertines‘tan yeni sesler duyulmaya başlandı.
Pete Doherty ve arkadaşları Hollanda’daki Best Kept Secret Music Festival‘da çaldıkları Gunga Gin isimli parçayla 2004 yılında kendi isimleriyle yayınladıkları son albüm sonrasında ilk sesleri duyurmaya başladılar.