Пусть точка C(0, m) - центр окружности (так как по условию центр лежит на оси OY, то первая координата равна 0)
Известно, что расстояние от центра до любой точки на окружности является константой и равно радиусу R окружности
Наша окружность проходит через точку 7 на оси OY, значит R = 7 - m
Также окружность проходит через точку 5 на оси OX, значит по теореме Пифагора 
Приравняем это и получим уравнение:

Возвёдём в квадрат и решим уравнение:

Координата центра окружности - 
Радиус окружности: 
Уравнение окружности выглядит следующим:

Подставим наши числа:

ответ: 
x^2-3x+5 = 0
Дискриминант уравнения отрицателен
D = b^2-4ac = 9 - 4*5 = -11
и решений нет
.
Со вторым хуже, решение то есть, функция проходит через ноль около 1.78
однако аналитически найти корень сложно, но можно по схеме Кардано