Будущий писатель родился в семье графа Константина Петровича Толстого, банковского советника и Анны Алексеевны урождённой Перовской, побочной дочери графа Алексея Кирилловича Разумовского. Отец добился для неё и братьев дворянского титула и фамилии «Перовские», а также дал основательное образование.
Дядей со стороны отца был известный скульптор и вице-президент Академии художеств – граф Фёдор Петрович Толстой.
Дяди со стороны матери – известный в те времена писатель Алексей Алексеевич Перовский (известный нам под псевдонимом Антон Погорельский), а также ставший позднее министров внутренних дел Лев Алексеевич Перовский и будущий генерал-губернатор Оренбурга – Василий Алексеевич Перовский.
Когда мальчику было всего 6 недель, брак его родителей распался, и Анна Алексеевна увезла сына на Украину в имение своего брата Алексея. Практически, дядя стал главным воспитателем Алексея Константиновича. Поскольку сам он был известным беллетристом, то и в племяннике с ранних лет сумел воспитать любовь к книгам и литературному творчеству. Именно Алексей Алексеевич послужил впоследствии для Льва Толстого прототипом для создания образа Пьера Безухова в романе «Война и мир».
В 1810 году Перовский привозит сестру и племянника в Петербург. Здесь в течение десяти лет он поддерживает дружеские связи с известными литераторами: А.С.Пушкиным, В.А.Жуковским, К.Ф.Рылеевым и другими. К литературным обсуждениям с интересом прислушивается и племянник.
Вскоре после приезда стараниями Жуковского Алексея приводят товарищем для игр будущему российскому императору Александру II, которому на то время было тоже восемь лет. Мальчики сошлись характерами и сохранили добрые отношения на всю жизнь. Впоследствии супруга императора также ценила личность и талант Толстого.
В 1827 году Алексей Константинович вместе с мамой и дядей отправляются в Германию, где посещают Гёте. Свои детские впечатления и подарок великого писателя (обломок бивня мамонта) Толстой сохранит на долгие годы. В 1831 году по «коммерческим» делам Перовский едет в Италию, куда также берёт сестру с племянником. Алексей настолько «влюбляется» в эту страну, её произведения искусства и исторические памятники, что при возвращении в Россию долгое время тоскует о великих итальянских городах. В это время в своих дневниках он называет Италию «потерянным раем».
