Правильное условие такое:
У брата х груш, а у сестры у² яблок. Вместе у них было 11 этих фруктов. Если бы у брата было у груш, а у сестры -х² яблок, то всего этих фруктов у них было бы 7. Сколько было груш и сколько было яблок?
Решение.
ОДЗ: 
Методом подбора быстрее.
1) Начнем с решения второго уравнения.
Если 
то 7-1=6. Тогда 
не натуральное число.
Если 
то 7-2=5. Тогда 
не натуральное число.
Если 
то 7-3=4. Тогда 
натуральное число.
Получили решение
2) Подставим в первое уравнение 
.
верное равенство.
ответ: 2 груши у брата;
3 яблока у сестры.
3k+3= -3
3k= -3-3= -6
k = -2