若函数 $f(x) = a^x$（$a > 0$，且 $a \neq 1$）的反函数的图象过点 $\left(2,-1\right)$，则 $a =$______.