1977 yılında yapılan genel seçimlerde Adalet Partisi'nden (AP) Bolu milletvekili oldu. Ardından kurulan II.MC.Hükümeti'nde Kültür Bakanlığı yaptı. 1986 yılında Bakanlar Kurulu kontenjanından YÖK üyeliğine seçildi. 1983 yılında kurulan ANAP'a üye oldu. 30 Mart 1989'da II. Özal Hükümeti'nde yapılan difüzyon sonucu Hasan Celal Güzel'in yerine Milli Eğitim Bakanı oldu ve bu görevi 3 hükümette de devam ettirdi. (II. Özal Hükümeti, I. Akbulut Hükümeti, I. Yılmaz Hükümeti).

Farklı yeniliklere imza atılan Avni Akyol döneminde, lacivert önlükler yerine mavi önlükler fikri ortaya atılmıştır ve gerçekleştirilmiştir. Akyol doğduğu ilçe olan Düzce'nin il olabilmesi için çok çalışmıştır.

18 Nisan 1995'da Bolu milletvekili olarak Türkiye Büyük Millet Meclisi'ne girdi ve Eğitim Komisyonu Başkanlığı görevinde bulundu. 28 Şubat süreci sonrası ANAP - DSP - DTP Koalisyonu ile oluşturulan ANASOL-D Hükümeti'nin 8 yıllık zorunlu eğitim kararını hemen uygulamaya sokması için çaba gösterdi. 18 Nisan 1999 seçimlerinden sonra Bolu'dan meclise girdi. 30 Eylül 1999'da bir cenaze için gittiği Bolu'da, kaldığı bir otelde kalp krizi geçirerek öldü.