Para remover um Personal Package Archive (PPA), basta executar o comando que tem o seguinte formato:

sudo ppa-purge ppa:nome-do-ppa

Por exemplo, você instala PPA do elementary-update:

sudo apt-add-repository ppa:versable/elementary-update
$ sudo apt-get update

Para removê-lo, basta usar:

sudo ppa-purge ppa:versable/elementary-update

Mas para funcionar, você precisa do pacote "ppa-purge". Para instalá-lo, execute:

sudo apt-get install ppa-purge


Abraço.

Referência:

ppa-purge --help