某大厦的一部电梯从底层出发后只能在第 $18$，$19$，$20$ 层可以停靠. 若该电梯在底层载有 $5$ 位乘客，且每位乘客在这三层的每一层下电梯的概率均为 $\frac{1}{3}$，用 $\xi$ 表示这 $5$ 位乘客在第 $20$ 层下电梯的人数，求：

(1) 随机变量 $\xi$ 的分布列； (2) 随机变量 $\xi$ 的期望.