Ce n'est pas bizarre, comme ADSL travaille sur plusieurs fréquences, un parasite peut affecter une plage diminuant la bande globale, donc entrainant une baisse de débit.
On peut se faire parasiter par une mauvaise alim à découpage, un aspirateur, un robot ménager,... chez soi ou ailleurs.
A toi de voir, si cela se produit à des moments particuliers pour, éventuellement, trouver la source.