Второй сын боярина князя Василия Андреевича Голицына (ум. 1652) и княжны Татьяны Ивановны Ромодановской. В царствование Феодора Алексеевича (1676—82) занимал ключевые посты в государстве. Был возведён в ранг боярина[1], заведовал Пушкарским и Владимирским судными приказами.
В период правления царевны Софьи Алексеевны возглавил с 1682 года Посольский приказ. В это время внешнеполитическая обстановка для России была очень сложной — напряжённые отношения с Речью Посполитой, подготовка Османской империи, несмотря на Бахчисарайский мирный договор 1681 года, к войне с Русским царством, вторжение крымских татар в мае — июне 1682 года в русские земли.
Приступил к проведению активной внешней политики, направив в Константинополь чрезвычайное посольство, чтобы склонить Порту к союзу с Русским царством на случай войны с Польшей. Другое русское посольство — в Варшаве — работало над усилением противоречий между поляками и турками. Результатом стал отказ Польши и Турции от прямого выступления против Москвы
Являлся сторонником европеизации, а также (по утверждению С. М. Соловьёва), покровительствовал иезуитам. Один из европейских посланников так описывал Голицына:
Увеличивается
между 2 и 4 на 2
Между 4и 5 на 1
Между 5 и 6 на 1
Между 6 и 7 на 1
Между 7 и 9 на 2