Правильное условие такое:
У брата х груш, а у сестры у² яблок. Вместе у них было 11 этих фруктов. Если бы у брата было у груш, а у сестры -х² яблок, то всего этих фруктов у них было бы 7. Сколько было груш и сколько было яблок?
Решение.

ОДЗ:
Методом подбора быстрее.
1) Начнем с решения второго уравнения.


Если
то 7-1=6. Тогда
не натуральное число.
Если
то 7-2=5. Тогда
не натуральное число.
Если
то 7-3=4. Тогда
натуральное число.
Получили решение

2) Подставим
в первое уравнение
.


верное равенство.
ответ: 2 груши у брата;
3 яблока у сестры.
x != 11
x != 0
т.к. делить на ноль нельзя.

Чуть упростим.

Допустим что (x-11)/x это один делитель, просто в виде дроби.
Как найти чему он равен?
Надо делимое разделить на частное, т.е. 5/3
Получается,
Теперь.

Подставим.
Переносим 1 в другую сторону
x = 11/(2/3)
На калькуляоре получаем десятичную дробь
1.666666666666
Записываем как одна целая и шесть в периоде
Число иррационально (т.е. бесконечное)
ответ. 1.6(6)