Пусть точка C(0, m) - центр окружности (так как по условию центр лежит на оси OY, то первая координата равна 0)
Известно, что расстояние от центра до любой точки на окружности является константой и равно радиусу R окружности
Наша окружность проходит через точку 7 на оси OY, значит R = 7 - m
Также окружность проходит через точку 5 на оси OX, значит по теореме Пифагора 
Приравняем это и получим уравнение:

Возвёдём в квадрат и решим уравнение:

Координата центра окружности - 
Радиус окружности: 
Уравнение окружности выглядит следующим:

Подставим наши числа:

ответ: 
4x^2 - 1 + x^2 - x = 2x^2 + 2x. Переносим все числа в левую часть:
3x^2 -3x - 1 = 0.
D = 9 - 4*3(-1) = 21
x1 = (3+корень(21))/2
x2 = (3-корень(21))/2