Tarixən Şərqi Anadolu ərazisi olan Ağbaba mahalı adını bu ərazidəki eyni adlı dağdan götürüb.  Dəniz səviyyəsindən 1800-2200 metr yüksəklikdə yerləşən Ağbaba mahalı, qərbdən Ağbaba dağ silsiləsi, şimali-qərbdən Türkiyənin Çıldır bölgəsi, şimaldan  Axılkələk,  şərqdən isə Loru-Pəmbəklə qonşu olan  Qayqulu eli ilə əhatə olunub. Ən qədim zamanlardan Ağbaba ərazisi türk tayfalarının ilkin məskunlaşdığı ərazilərdən hesab olunur.   Tarixi mənbələrdə  hələ eramızdan əvvəl  III-II əsrlərdə xəzərlərin bir qolu olan Sirak tayfalarının Qafqaz dağlarını aşaraq Azərbaycana gəlmələri, Araz və Arpaçayı boyu yerləşmələri yazılır.   

Tarixi sənədlərdə Ağbaba mahalının 1593-cü ildə Osmanlı İmperiyasının Tiflis əyalətinin Arpalı sancağının nahiyəsi olduğu göstərilir. 1877–1878-ci illərdə Qars paşalığı Çar Rusiyası tərəfindən işğal edildikdən sonra Ağbaba mahalı Tiflis quberniyasının Qars qəzasının Ağbaba nahiyyəsi şəklində Rusiyanın tərkibinə qatılıb.

Ermənistanda Sovet hakimiyyəti qurulduqdan sonra  Qars müqaviləsinin şərtlərinə görə Ağbaba mahalının 594,75 kv verst ərazisinin 450 kv versti Ermənistana verildi. SSRİ dövründə 1930-cu ilə qədər Gümrü qəzasının Ağbaba nahiyyəsi adlanıb. 30-cu illərdə  Ermənistan SSR ərazisində aparılan inzibati-ərazi bölgüsünə görə Ağbaba ərazisində Amasiya inzibati rayonu yaradılıb.

Ağbaba mahalının 1988-ci ilə kimi azərbaycan türklərinin yaşadıqları yaşayış yerləri: Xançallı, Oxçuoğlu, Güllübulaq, Çaxmaq, Mağaracıq, Qaraçanta, Daşkörpü, İbiş, Qonçalı, İlanlı, Düzkənd, Qaranamaz, Göllü, Təpəköy, Hozukənd, Qarabulaq, Ellərkənd, Bəndivan, Quzeykənd, Alakilsə, Çələb, Qara Məmməd, Güllücə, Balıqlı