就在李賢被廢的第二天，武則天便下旨立她的第三皇子英王李哲（李顯）為太子。

公眾對于李賢的被廢，疑慮重重。為了掩人口目，武后下令在洛陽公開燒掉太子宮中發現的盔甲，以便讓百姓和官員們看到太子的罪證。

李賢的倒臺，使許多有名望的人物受到株連。宰相張大安，被謫流放四川。兩位王子李煒與李明被流放到很遠的西南地區。另外幾位曾是李賢老師的大臣，雖然后來都被赦免并官復原職，但對他們的指控均大大損害了他們的權力。

開耀元年（681年）十一月，武則天又將他遷往距京城2300里之遙的巴州（今四川巴中）。

再兩年多以后，文明元年三月（684年），在庇護李賢的唐高宗駕崩以后，李賢終于被武則天派遣的酷吏左金吾將軍丘神勣逼令自殺。

在巴州，李賢寫下了膾炙人口的《黃臺瓜辭》：

種瓜黃臺下，

瓜熟子離離。