Попробуем в левой части выделить полный квадрат, как раз от выражения 
Здесь удвоенное произведение я искусственно создал для выделения квадрата, но чтобы не нарушить равенства, надо это же удвоенное произведение с противоположным знаком добавить, что и было сделано.
Было получено два значения и не зря. Если решать уравнение из условия, то мы обязательно получим 2 корня (кроме случая x=0, на котором даже не определено второе слагаемое и потому его в расчет не берем), это 
и второе выражение, которое зависит от этих корней, может и будет принимать не одно лишь значение, а 2.
ответ: 
У нас известно отношение y к x:
y/x=-3;
Возведем в квадрат, нам это нужно, чтобы найти значение выражения:
(y/x)^2=9;
Возьмем числитель нашего примера:
3y^2-2xy+x^2;
Поделим каждое слагаемое на x^2, чтобы перейти к нашему отношению, сказанному выше.
3*9(-2)*(-3)+1=27+6+1=34. (Минус на минус дают плюс).
Теперь разберем знаменатель:
x^2+xy-y^2; Так же используя отношение, приведенное выше.
Делим все на x^2.
1+(-3)-9=1-3-9=-11.
Теперь совместим в нашу дробь и числитель, и знаменатель , получим:
-34/11, что соответствует - 3 целым 1/11.
ответ: -34/11.