Первые упоминания об усадьбе Захарово встречается в писцовой книгедвадцатых годов XVII века. Усадьба упоминается как вотчина Богдана-Дорофея Ивановича Камынина, служившего воеводой в Соликамске и Перми. В сороковых годах семнадцатого века был переписчиком Вереи, Боровска и Можайска. Его сын Иван Богданович Камынин служил воеводой и стольником, был послом в Крыму. При царе Федоре Алексеевиче получил думное дворянство и стал казначеем. Умир он в начале 80-х годов семнадцатого века, бездетным. После смерти Ивана Богдановича усадьба переходит его вдове – Федоре Ивановне, потом к ее сестре – Авдотье Ивановне. Имение становится ее приданым, когда Авдотья Ивановна выходит замуж за члена княжеской фамилии – Якова Никитича Урусова. В первой половине восемнадцатого века, усадьба меняет нескольких владельцев из членов семьи Урусовых. В 1704 году ее хозяином становится сын Авдотии Ивановны и Якова Никитича -- стольник Федор Яковлевич Урусов. Спустя несколько лет село переходит к его брату Александру Яковлевичу Урусову. В 1745 году владельцем усадьбы былкнязь Александр Александрович Урусов, который в 1757 году продал Захарово сослуживцу по гвардии - капралу лейб-гвардии Семеновского полка Дмитрию Петровичу (Большому) Савелову, который в скором времени выходит в отставку и начинает активно заниматься благоустройством имения. Спустя почти четверть века, в 1781 году, Захарово переходит к капитану артиллерии Илье Яковлевичу Тинкову, ставшему впоследствии надворным советником и членом московской Герольдмейстерской конторы. К концу восемнадцатого века в Захарове насчитывалось 13 дворов, где проживало около 150 человек, стоял двухэтажный господский дом. В конце 1804 года вдова Ильи Яковлевича Тинкова, испытывая нужду в деньгах, продает имение Марии Алексеевне Ганнибал, бабушке Александра СергеевичаПушкина. В мае 1805 года в Захарово приезжает ее дочь Надежда Осиповна Пушкина с детьми. Отец поэта Сергей Львович, будучи человеком городским деревни не любил и бывал в Захарово редко. До самого отъезда будущего поэта в Лицей, семейство Пушкиных каждое лето приезжало в усадьбу. Бабушка поэта, Мария Алексеевна Ганнибалрассталась с Захаровым в 1811 году, почти сразу после отъезда внука в Царскосельский Лицей в 1811 году.Захарово перешло в семью ее родной сестры Аграфены Алексеевны, по мужу Козловой. Оформлено имение было на имя ее невестки Харитины Ивановны Козловой. Ее могила находится в Больших Вяземах, рядом с могилой, умершего в шестилетнем возрасте в Захарове младшего брата поэта Николая.
