Solución. Vamos a escribir el problema con geometría analítica, de forma que los vértices tienen coordenadas $A=(x_A,y_A)$, $B=(x_B,y_B)$ y $C=(x_C,y_C)$ y consideramos el punto variable $M=(x,y)$. Tenemos entonces que el baricentro tiene coordenadas $G=(\frac{x_A+x_B+x_C}{3}, \tfrac{y_A+y_B+y_C}{3})$, luego podemos calcular
\begin{align*}MA^2+MB^2+MC^2&=(x-x_A)^2+(y-y_A)^2+(x-x_B)^2+(y-y_B)^2+(x-x_C)^2+(y-y_C)^2\\
&=3x^2+3y^2-6x_Gx-6y_Gy+x_A^2+x_B^2+x_C^2+y_A^2+y_B^2+y_C^2\\
&=3\left((x-x_G)^2+\left(y-y_G\right)^2\right)+x_A^2+x_B^2+x_C^2+y_A^2+y_B^2+y_C^2-3x_G^2-3y_G^2
\end{align*}
Sustituyendo $x=x_G$ e $y=y_G$ en la igualdad anterior, obtenemos directamente que
\[GA^2+GB^2+GC^2=x_A^2+x_B^2+x_C^2+y_A^2+y_B^2+y_C^2-3x_G^2-3y_G^2,\]
por lo que se tiene que
\[MA^2+MB^2+MC^2=3MG^2+GA^2+GB^2+GC^2.\]
De aquí se deduce que la desigualdad en el apartado (a) y que la igualdad se alcanza si y sólo si $MG=0$, es decir, cuando $M=G$. Más aún, si $MA^2+MB^2+MC^2=k\gt GA^2+GB^2+GC^2$, entonces la igualdad anterior nos dice que $MG$ es una constante positiva. Deducimos así que los puntos que cumplen (b) son los de una circunferencia centrada en $G$ de radio $\frac{1}{\sqrt{3}}\sqrt{k-GA^2-GB^2-GC^2}$.