x⁴ + (2k+8)x² + k² + 8k + 15 = 0
замена: у = х²
у² + (2k+8)·у + k² + 8k + 15 = 0
Исходное уравнение будет иметь 4 корня, если дискриминант уравнениия относительно у будет положительным и оба корня у₁ и у₂ будут положительными.
Найдём дискриминант уравнения
D = (2k+8)² - 4(k² + 8k + 15) = 4k² + 32k + 64 - 4k² - 32k - 60 = 4
√D = 2 (два решения!)
у₁ = (-2(k + 4) - 2):2 у₁ = -k - 5
у₂ = (-2(k + 4) + 2):2 у₁ = -k - 3
Найдём, при каких k оба корня будут положительными
-k - 5 > 0 и -k - 3 > 0
k < - 5 и k < -3
пересечением этих интервалов является k < -5
ответ: при k < -5 исходное уравнение имеет 4 решения
0≤((a-b)²+(a-1)²+(b-1)²)/2=
=(a²-2ab+b²+a²-2a+1+b²-2b+1)/2=
=a²+b²+1-ab-a-b, что и требовалось.