Правильное условие такое:
У брата х груш, а у сестры у² яблок. Вместе у них было 11 этих фруктов. Если бы у брата было у груш, а у сестры -х² яблок, то всего этих фруктов у них было бы 7. Сколько было груш и сколько было яблок?
Решение.
ОДЗ: 
Методом подбора быстрее.
1) Начнем с решения второго уравнения.
Если 
то 7-1=6. Тогда 
не натуральное число.
Если 
то 7-2=5. Тогда 
не натуральное число.
Если 
то 7-3=4. Тогда 
натуральное число.
Получили решение
2) Подставим в первое уравнение 
.
верное равенство.
ответ: 2 груши у брата;
3 яблока у сестры.
(2×-3)^2=9
(2×-3)=3 или (2×-3)=-3
2х=6 или 2х=0
х=3 или х=0