Ali Yıldırım Koç, 2 Nisan 1967 tarihinde İstanbul'da doğmuştur. Annesi Çiğdem (Simavi) ve babası Rahmi Koç'un en küçük oğludur. Ömer Koç, Mustafa Koç adında abileri vardır. Londra'da Harrow School'dan mezun oldu. Rice Üniversitesi'nden diplomasını aldı. Harvard Üniversitesi'nde yüksek lisans yaptı. ABD'de çeşitli kuruluşlarda çalıştı ve Koç Holding A.Ş. yönetim kurulu üyesi kurumsal iletişim ve bilgi grubu başkanı oldu.

Koç, 2009 yılından bu yana Tüpraş Yönetim Kurulu Üyesi'dir. Fenerbahçe Spor Kulübü'nde İki dönem yöneticilik yaptı. Ali Koç, 21 Ekim 2005 tarihinde Nevbahar Demirağ ile evlendi. Sadberk Leyla Koç (d.2006) ve Kerim Rahmi Koç (d.2008) adında bir kızı bir oğlu vardır.