Jednym z rozwiązań jest \(x_3=4\). Niech \(x_1\), \(x_2\) będą rozwiązaniami trójmianu \(x^2+(m-3)x+m^2-m-6\).
Etap I. Trzy różne rozwiązania rzeczywiste.
Trójmian musi mieć dwa różne pierwiastki:
\(\Delta=(m-3)^2-4\left(m^2-m-6\right)=m^2-6m+9-4m^2+4m+24=-3m^2-2m+33\)
\(\Delta\gt 0\iff 3m^2+2m-33\lt 0\)
\(\Delta_m=4+396=400\), pierwiastki: \(m=-\frac{11}{3}\) oraz \(m=3\), zatem \(m\in\left(-\frac{11}{3},3\right)\).
Ponadto \(4\) nie może być pierwiastkiem trójmianu:
\(16+4(m-3)+m^2-m-6\neq 0\)
\(m^2+3m-2\neq 0\)
\(m\neq\frac{-3\pm\sqrt{17}}{2}\)
Etap II. Warunek nierówności.
Ze wzorów Viète’a: \(x_1+x_2=3-m\), \(\;x_1x_2=m^2-m-6\).
Lewa strona:
\(x_1x_2x_3=4\left(m^2-m-6\right)=4m^2-4m-24\)
Prawa strona — najpierw suma kwadratów:
\(x_1^2+x_2^2=(3-m)^2-2\left(m^2-m-6\right)=9-6m+m^2-2m^2+2m+12=-m^2-4m+21\)
\(x_1^2+x_2^2+x_3^2-5m-51=-m^2-4m+21+16-5m-51=-m^2-9m-14\)
Nierówność:
\(4m^2-4m-24\gt -m^2-9m-14\)
\(5m^2+5m-10\gt 0\)
\(m^2+m-2\gt 0\)
\((m+2)(m-1)\gt 0\)
\(m\in(-\infty,-2)\cup(1,+\infty)\)
Etap III. Część wspólna.
Szukamy \(m\in\left(-\frac{11}{3},3\right)\) spełniających jednocześnie \(m\in(-\infty,-2)\cup(1,+\infty)\) oraz \(m\neq\frac{-3\pm\sqrt{17}}{2}\).
Otrzymujemy przedziały \(\left(-\frac{11}{3},-2\right)\cup(1,3)\). Liczba \(\frac{-3-\sqrt{17}}{2}\approx-3{,}56\) należy do pierwszego z nich, więc ją usuwamy; liczba \(\frac{-3+\sqrt{17}}{2}\approx 0{,}56\) do żadnego z nich nie należy.
Odpowiedź: \(m\in\left(-\frac{11}{3},\frac{-3-\sqrt{17}}{2}\right)\cup\left(\frac{-3-\sqrt{17}}{2},-2\right)\cup(1,3)\)