Если взять a=0, b=1, то получается элемент 1/2, квадрат которого равен 1/4 и поэтому не лежит в X. Таким образом, обычное умножение выводит из этого множества, и поэтому не имеет права претендовать на гордое название "алгебраической операции". После этого смешно говорить про ассоциативность (а она бы была, если бы операция не выводила бы из X), про коммутативность (а она бы... - см. текст выше), наличие нейтрального элемента (см. выше). Не знаю, какие элементы Вы называете симметричными, обычно говорят про обратные, но здесь с обратными проблема. В общем, говорить о группе не приходится, как и о группоиде, полугруппе или моноиде
2) -15a+20b-35c=5(-3a+4b-7c)=-5(3a-4b+7c)
3)9x в квадрате y-12x в кубе y в квадрате +3xy= 9x2y-12x3y2+3xy=3xy(3x-4x2y+1) ( 3xy(3x-4x во второй y+1)
4) ac-3bd+ad-3bc=a(c+d)+3b(-d-c)=a(c+d)-3b(c+d)=(a-3b)(c+d)
5) bx+by+x в квадрате+xy-ax-ay= х(b+х+a)+y(b+x+a)=(x+y)(b+x+a)
6)12a в квадрате -18ab+14a-21b+= 12a2-18ab+14a-21b=2a(6a+7)-3(6a+7)=(2a-3)(6a+7)