12,45
Объяснение (см. также на приложенном скрине):
1) старшие два разряда числа X равны 10, потому что в числе Y эти разряды равны нулю, а логическая сумма (операция ИЛИ) равна 10 (чтобы получить единицу- хотя бы один из входных разрядов должен быть равен единице; ну а ноль можно получить только если оба они равны нулю).
2) Во втором разряде чисел X и Y должен стоять ноль (т.к. лог. сумма равна нулю).
3) Так как в числе X должно быть четыре единицы в разрядах, то проставляем оставшиеся три (т.к. других свободных разрядов для них нет).
4) Находим оставшиеся разряды числа Y по логическому произведению (операция И) и разрядам числа X (чтобы получить единицу- оба входных разряда должны быть равны единице, чтобы получить ноль- хотя бы один из них должен быть равен нулю).
Получили: 
Переводим в десятичную систему счисления:
Записываем, как указано в задании (в порядке возрастания, через запятую, без пробела): 12,45
01function balance(a) {02 for (var d = /(\u005B|\u0028|\u007B)[^\u005B\u0028\u007B]*?$/,03 e = {04 "(": /\u0028[^\u007D\u005D]*?\u0029/,05 "[": /\u005B[^\u0029\u007D]*?\u005D/,06 "{": /\u007B[^\u0029\u005D]*?\u007D/07 }, b, c = !0; c;) b = a, a = a.replace(d, function (a, b) {08 return a.replace(e[b], "")09 }), b == a && (c = !1);10 return !/[\u005B\u005D\u0028\u0029\u007B\u007D]/.test(a)11};12 13 14alert(balance("{}({}123(45))")+"\n"+balance("{}{}1234][5")+"\n"+balance("<><(([]){}<[}}[[]]}}]>)>"))