Правильное условие такое:
У брата х груш, а у сестры у² яблок. Вместе у них было 11 этих фруктов. Если бы у брата было у груш, а у сестры -х² яблок, то всего этих фруктов у них было бы 7. Сколько было груш и сколько было яблок?
Решение.
ОДЗ: 
Методом подбора быстрее.
1) Начнем с решения второго уравнения.
Если 
то 7-1=6. Тогда 
не натуральное число.
Если 
то 7-2=5. Тогда 
не натуральное число.
Если 
то 7-3=4. Тогда 
натуральное число.
Получили решение
2) Подставим в первое уравнение 
.
верное равенство.
ответ: 2 груши у брата;
3 яблока у сестры.
x(x^2 + x - 21) = 0
либо х = 0 либо x^2 + x - 21 = 0
x^2 + x - 21 = 0
D = 85
x1 = (-1 + √85)/2
x2 = (-1 + √85)/2
ответ: (-1 + √85)/2; (-1 + √85)/2; 0