某小组共 $10$ 人，利用假期参加义工活动，已知参加义工活动次数为 $1$，$2$，$3$ 的人数分别为 $3$，$3$，$4$. 现从这 $10$ 人中随机选出 $2$ 人作为该组代表参加座谈会.

(1) 设 $A$ 为事件“选出的 $2$ 人参加义工活动次数之和为 $4$”，求事件 $A$ 发生的概率； (2) 设 $X$ 为选出的 $2$ 人参加义工活动次数之差的绝对值，求随机变量 $X$ 的分布列和数学期望.