Будущий писатель родился в семье графа Константина Петровича Толстого, банковского советника и Анны Алексеевны урождённой Перовской, побочной дочери графа Алексея Кирилловича Разумовского. Отец добился для неё и братьев дворянского титула и фамилии «Перовские», а также дал основательное образование.
Дядей со стороны отца был известный скульптор и вице-президент Академии художеств – граф Фёдор Петрович Толстой.
Дяди со стороны матери – известный в те времена писатель Алексей Алексеевич Перовский (известный нам под псевдонимом Антон Погорельский), а также ставший позднее министров внутренних дел Лев Алексеевич Перовский и будущий генерал-губернатор Оренбурга – Василий Алексеевич Перовский.
Когда мальчику было всего 6 недель, брак его родителей распался, и Анна Алексеевна увезла сына на Украину в имение своего брата Алексея. Практически, дядя стал главным воспитателем Алексея Константиновича. Поскольку сам он был известным беллетристом, то и в племяннике с ранних лет сумел воспитать любовь к книгам и литературному творчеству. Именно Алексей Алексеевич послужил впоследствии для Льва Толстого прототипом для создания образа Пьера Безухова в романе «Война и мир».
В 1810 году Перовский привозит сестру и племянника в Петербург. Здесь в течение десяти лет он поддерживает дружеские связи с известными литераторами: А.С.Пушкиным, В.А.Жуковским, К.Ф.Рылеевым и другими. К литературным обсуждениям с интересом прислушивается и племянник.
Вскоре после приезда стараниями Жуковского Алексея приводят товарищем для игр будущему российскому императору Александру II, которому на то время было тоже восемь лет. Мальчики сошлись характерами и сохранили добрые отношения на всю жизнь. Впоследствии супруга императора также ценила личность и талант Толстого.
В 1827 году Алексей Константинович вместе с мамой и дядей отправляются в Германию, где посещают Гёте. Свои детские впечатления и подарок великого писателя (обломок бивня мамонта) Толстой сохранит на долгие годы. В 1831 году по «коммерческим» делам Перовский едет в Италию, куда также берёт сестру с племянником. Алексей настолько «влюбляется» в эту страну, её произведения искусства и исторические памятники, что при возвращении в Россию долгое время тоскует о великих итальянских городах. В это время в своих дневниках он называет Италию «потерянным раем».
Передо мной явилась ты,
Как мимолетное виденье,
Как гений чистой красоты.
В томленьях грусти безнадежной
В тревогах шумной суеты,
Звучал мне долго голос нежный
И снились милые черты.
Шли годы. Бурь порыв мятежный
Рассеял прежние мечты,
И я забыл твой голос нежный,
Твой небесные черты.
В глуши, во мраке заточенья
Тянулись тихо дни мои
Без божества, без вдохновенья,
Без слез, без жизни, без любви.
Душе настало пробужденье:
И вот опять явилась ты,
Как мимолетное виденье,
Как гений чистой красоты.
И сердце бьется в упоенье,
И для него воскресли вновь
И божество, и вдохновенье,
И жизнь, и слезы, и любовь.