Пусть точка C(0, m) - центр окружности (так как по условию центр лежит на оси OY, то первая координата равна 0)
Известно, что расстояние от центра до любой точки на окружности является константой и равно радиусу R окружности
Наша окружность проходит через точку 7 на оси OY, значит R = 7 - m
Также окружность проходит через точку 5 на оси OX, значит по теореме Пифагора 
Приравняем это и получим уравнение:
Возвёдём в квадрат и решим уравнение:
Координата центра окружности - 
Радиус окружности: 
Уравнение окружности выглядит следующим:
Подставим наши числа:
ответ: 
Воспользуемся теоремой Виета:
x^2 + px + q = 0
x1 + x2 = -p => -p = 8 + 12 = 20 => p = -20
x1*x2 = q => q = 8*12 = 96
x^2 - 20x + 96 = 0