若 $\left(ax^2 + \frac{b}{x}\right)^6$ 的展开式中 $x^3$ 项的系数为 20，则 $a^2 + b^2$ 的最小值为______.