Пусть точка C(0, m) - центр окружности (так как по условию центр лежит на оси OY, то первая координата равна 0)
Известно, что расстояние от центра до любой точки на окружности является константой и равно радиусу R окружности
Наша окружность проходит через точку 7 на оси OY, значит R = 7 - m
Также окружность проходит через точку 5 на оси OX, значит по теореме Пифагора 
Приравняем это и получим уравнение:

Возвёдём в квадрат и решим уравнение:

Координата центра окружности - 
Радиус окружности: 
Уравнение окружности выглядит следующим:

Подставим наши числа:

ответ: 
6x^2-12x-18>0, xЄ(-oo;-1)U(3;+oo)-возрастает.
6x^2-12x-18<0, xЄ(-1;3)-убывает.