(x+y)²=17 и ху=3
x²+2xy+y²=17
x²+y²=17-2*3
x²+y²=11

и затем верхнюю часть графика отобразить в нижнюю(отрицательную часть)
(*)
и это уравнение решений не имеет при k>0(так как левая часть всегда положительно).
и при k<0 это уравнение решений не имеет.
, имеем









x^2+y^2=(x+y)^2-2xy=17-2*3=11
ответ:11