No servidor A, gerar chave RSA no diretório do usuário:

ssh-keygen -t rsa -f ~/.ssh/id_rsa

Copiar o conteúdo do arquivo ~/.ssh/id_rsa.pub para servidor remoto:

cat ~/.ssh/id_rsa.pub | ssh user@IPDoServidorB 'mkdir .ssh; chmod 700 .ssh; cd .ssh; touch authorized_keys; chmod 600 authorized_keys; cat - >> authorized_keys'

E digite a senha.

Pronto, relação concluída.

Agora, você pode do servidor A, acessar o servidor B sem senha.

Exemplo:

# ssh -l root ipDoServidorB


Achei várias técnicas, porém, muitas pessoas não conseguem configurar.

Pois o pessoal esquece de dar permissões 700 no diretório .ssh, e 600 no arquivo authorized_keys.