一百零八塔位于宁夏回族自治区青铜峡市，以其独特的建筑格局和深邃的历史文化闻名遐迩. 该塔群共有 $108$ 座塔，依山势自上而下排成 $12$ 行，将第 $i$ 行中塔的座数记为 $a_i$（$i=1$，$2$，$\cdots$，$12$），其中 $a_1=1$，$a_2=a_3=3$，$a_4=a_5=5$，且 $a_6$，$a_7$，$\cdots$，$a_{12}$ 是一个首项为 $7$，公差为 $2$ 的等差数列. 将 $a_1$，$a_2$，$\cdots$，$a_{12}$ 分为 $6$ 组，每组 $2$ 个数，使得每组的 $2$ 个数之和可构成一个项数为 $6$ 且公差为 $d$（$d>0$）的等差数列，则 $d=$（ ）