Правильное условие такое:
У брата х груш, а у сестры у² яблок. Вместе у них было 11 этих фруктов. Если бы у брата было у груш, а у сестры -х² яблок, то всего этих фруктов у них было бы 7. Сколько было груш и сколько было яблок?
Решение.
ОДЗ: 
Методом подбора быстрее.
1) Начнем с решения второго уравнения.
Если 
то 7-1=6. Тогда 
не натуральное число.
Если 
то 7-2=5. Тогда 
не натуральное число.
Если 
то 7-3=4. Тогда 
натуральное число.
Получили решение
2) Подставим в первое уравнение 
.
верное равенство.
ответ: 2 груши у брата;
3 яблока у сестры.
3х-5у=-29 - умножаем на 6
5(2х+6у)+6(3х-5у)=5*18+6*(-29)
10х+30у+18х-30у=90-174
28х=-84
х=-84/28
х=-3
подставим найденное число в первое уравнение:
2*(-3)+6у=18
-6+6у=18
6у=18+6
6у=24
у=24/6
у=4
ответ: -3;4