Есть 12 вариантов выбора книг для покраски по количеству книг в каждом цвете (красный, зеленый, коричневый)
1 1 10
1 2 9
1 3 8
1 4 7
1 5 6
2 2 8
2 3 7
2 4 6
2 5 5
3 3 6
3 4 5
4 4 4
Им соответствуют количество вариантов выбора книг по их числу, например, первому, 12!/(10!*2!)*2!/(1!*1!)=66*2=132. Их надо посчитать.
И каждому набору соответствует число возможных перестановок по цветам. Если все числа в наборе разные, то 3!=6, если две одинаковые, до 3!/(2!*1!)=3, если все одинаковые (последний случай) , то 3!/(3!*0!)=1.
Затем количество вариантов выбора книг для каждого набора надо умножить на количество перестановок в наборе (то есть, для первого получится 132*3=396), и полученные числа сложить. Получится 519156.

- 1 =
- 1 = 1-1=0
6х+4у=80
2х+у=30
Из второго уравнения системы уравнений найдём значение (у):
2х+у=30
у=30-2х
Подставим значение (у) в первое уравнение:
6х+4*(30-2х)=80
6х +120 -8х=80
6х-8х=80-120
-2х=-40
х=-40 : -2
х=20
Подставим значение х=20 в у=30-2х
у=30-2*20=30-40=-10
ответ: х=20; у=-10