Obs.: Pesquisando na internet eu vi que só é possível tirar o endereço da aba privacidade quando você quem adiciona o outro, mas se o outro te adicionar não tem como excluir.
Solução:
1 - Desbloquei e adicione novamente a pessoa aos seus contatos pela aba privacidade
2 - www.hotmail.com entre com seu usuário e senha normal que você usa pra entrar no seu Messenger (seja @live @gmail @uol qualquer um)
3 - Clique em "Contacts" ou http://mail.live.com/?rru=contacts
4 - Selecione o contato que você quer deletar definitivamente
5 - Clique em Manage > Remove as Friend > Yes
6 - Clique em Manage > Appear Offline to CONTATO
7 - Clique em "Delete" (vizinho a Manage) > Yes
Pronto, veja agora se em sua lista de contatos a pessao deletada ainda aparece. Se aparecer reinicie o MSN, se mesmo assim continuar então vá para os proximos passos
8 - Clique em Manage > Restore deleted contacts ( Observe que não é possível restaurar contatos excluídos há mais de 30 dias. )
9 - Clique em "Restore" no contato que você excluiu, e aparecerá: Someone on Windows Live has been restored to your contact list. Friend invitation sent.
Clique no que tiver sublinhado e clique em Ok.
10 - Volte a sua lista de contatos e repita os procedimentos 4,5 e 6.
Conclusão: Se você adicionar alguem, então você pode deletá-lo facilmente do modo normal. Se alguém te adicionar, então você terá de fazer esse procedimento acima. Esqueça as histórias do tipo: "Na aba privacidade se você clicar no endereço e aparecer o "Excluir" é porque essa pessoa te bloqueou." Pois o que acontece é que VOCÊ quem add a pessoa e então pode deletar normalmente. Outro ponto a ser analisado é que quem você exclui pode sumir da sua lista do programa MSN, mas se você for em Gerenciar > Restaurar Contatos Excluídos" ainda constará lá os e-mails deletados nos últimos 30 dias.