Oznaczmy środek okręgu przez $S=(x,y)$.
Krok 1. Warunek leżenia na prostej.
$$x-3y+1=0\ \Longrightarrow\ x=3y-1.$$
Krok 2. Równe odległości od $A$ i $B$. Środek okręgu jest jednakowo oddalony od obu punktów:
$$|SA|^{2}=|SB|^{2},$$
$$(x+5)^{2}+(y-3)^{2}=x^{2}+(y-6)^{2}.$$
Rozwijamy obie strony:
$$x^{2}+10x+25+y^{2}-6y+9=x^{2}+y^{2}-12y+36.$$
Po redukcji $x^{2}$ i $y^{2}$:
$$10x+6y=2\ \Longrightarrow\ 5x+3y=1.$$
Krok 3. Rozwiązanie układu. Podstawiamy $x=3y-1$:
$$5(3y-1)+3y=1\ \Longrightarrow\ 18y=6\ \Longrightarrow\ y=\frac13.$$
$$x=3\cdot\frac13-1=0.$$
$$S=\left(0,\ \frac13\right).$$
Kontrola: $0-3\cdot\frac13+1=0$ ✓ — środek leży na danej prostej.
Krok 4. Promień.
$$r^{2}=|SB|^{2}=(0-0)^{2}+\left(6-\frac13\right)^{2}=\left(\frac{17}{3}\right)^{2}=\frac{289}{9}.$$
Sprawdzenie drugim punktem: $|SA|^{2}=(0+5)^{2}+\left(\frac13-3\right)^{2}=25+\frac{64}{9}=\frac{225+64}{9}=\frac{289}{9}$ ✓
Krok 5. Równanie okręgu.
$$x^{2}+\left(y-\frac{1}{3}\right)^{2}=\frac{289}{9}.$$
Odpowiedź: $x^{2}+\left(y-\frac{1}{3}\right)^{2}=\frac{289}{9}$ (promień $r=\frac{17}{3}$)