Есть 12 вариантов выбора книг для покраски по количеству книг в каждом цвете (красный, зеленый, коричневый)
1 1 10
1 2 9
1 3 8
1 4 7
1 5 6
2 2 8
2 3 7
2 4 6
2 5 5
3 3 6
3 4 5
4 4 4
Им соответствуют количество вариантов выбора книг по их числу, например, первому, 12!/(10!*2!)*2!/(1!*1!)=66*2=132. Их надо посчитать.
И каждому набору соответствует число возможных перестановок по цветам. Если все числа в наборе разные, то 3!=6, если две одинаковые, до 3!/(2!*1!)=3, если все одинаковые (последний случай) , то 3!/(3!*0!)=1.
Затем количество вариантов выбора книг для каждого набора надо умножить на количество перестановок в наборе (то есть, для первого получится 132*3=396), и полученные числа сложить. Получится 519156.
- 1 = 
- 1 = 1-1=0
x=0 или 2х²-50=0
2х²=50
х²=25
х= 5 или х= -5
ответ: х=0, х=5, х= -5