a) Вероятность взять один синий карандаш, равна 5/9. В коробке останется 8 карандашей. Вероятность взять второй синий карандаш, равна 4/8 = 1/2, вероятность взять третий сини карандаш равна 3/7. По теореме умножения, 5/9 * 1/2 * 3/7 = 5/42
Аналогично вероятность взять один красный карандаш равна 4/9, второй красный карандаш - 3/8, третий красный карандаш - 2/7. По теореме умножения, 4/9 * 3/8 * 2/7 = 1/21
По теореме сложения, вероятность взять 3 карандаша одинакового цвета равна 5/42 + 1/21 = 5/42 + 2/42 = 7/42 = 1/6
б) Всего всевозможных исходов: 
из них нужно взять 2 синих и 1 красный карандаш, таких у нас 
. Вероятность того, что среди отобранных 3 карандаша 2 синих и 1 красный карандаш, равна 40/84 = 10/21
c) Вероятность того, что среди наугад выбранных 3 карандаша нет синего цвета, равна 1/21 (посчитали в пункте а), тогда вероятность того, что среди них будет хотя бы 1 карандаш синий, равна 1 - 1/21 = 20/21
Ищем максимум ф-ии:
F(x) = x² *2(12-x) = 24x² - 2x³
Находим производную:
F'(x) = 48x-6x² = 6x(8-x)
Критические точки 0 и 8, причем х = 8 - искомая точка максимума ( в ней производная меняет знак с + на -.
Итак 8 и 4 - искомые числа.