Ганнібал був одним із синів карфагенського полководця Гамількара Барки, мав кількох сестер та двох братів — Гасдрубала та Магона. Ще дитиною він застав Повстання найманців та завоювання Іберії. Прізвисько Барка («блискавка»), мабуть, було спадковим, тому що пізніше Ганнібал і його брати також носили ім'я Барка. Після поразки Карфагена у Першій Пунічній війні Гамількара було відіслано в Іберію, щоб «покращити там справи Карфагена». Країна була розореною після війни, тому за відсутністю кораблів Гамількару довелося долати шлях з Африки до Іспанії суходолом. Він узяв з собою в похід і свого сина — Ганнібала, якому, перед тим як вирушити, наказав принести клятву, яка набула значення крилатого вислову «Ганнібалова клятва»[7]. Гамількар спитав сина чи хоче той вирушити разом з ним, почувши схвальну відповідь, Гамількар сказав, що перед жертовним вівтарем він має поклястися бути довічним ворогом Риму.
За Полібієм, ця історія була розказана самим Ганнібалом селевкідському царю Антіоху ІІІ. Дитинство Ганнібала пройшло в місті Гадес, з якого його батько почав завойовницькі походи в Іспанії[8]. Гамількар піклувався про освіту сину, тому найняв для нього вчителів з Карфагену та Еллади, від яких він отримав загальні знання та навчився класичним мовам[9]. З часом Ганнібал почав брати участь і у військових авантюрах батька. Зокрема, Гамількар відвоював у місцевих племен золоті та срібні копальні й відновив карбування монети для виплати контрибуції Римові[
