A interface de usuário padrão (Qt) do VLC Media Player é muito intuitiva: No menu "mídia" você pode abrir arquivos, pastas, mídias, fluxos de mídia (streaming) e dispositivos de captura. No mesmo menu você ainda tem acesso a opções para converter arquivos e criar fluxos de mídia. Primeiro vou explicar sobre a conversão de arquivos. Selecione o arquivo que quer converter e clique em "Converter/Salvar". Se quiser usar um arquivo de legenda marque a opção "Usar um arquivo de legenda" antes de clicar em "Converter/Salvar" e configure as opções da legenda. Um vídeo digital é normalmente codificado utilizando um codificador X com as opções Y1, Y2, ... e Yn para o vídeo e o codificador X2 para o áudio, então as duas informações de saída são colocadas em um formato recipiente junto com outras informações (como a resolução do vídeo, autor, imagem de capa etc).

Acho que o melhor formato recipiente que eu conheço é o matroska, pois suporta muitas características avançadas, mas infelizmente a biblioteca de referência para manipulação de arquivos matroska ainda está em fase de testes, porém o matroska é um formato transparente e livre.

Acho que o melhor codec de áudio que eu conheço é o vorbis e a qualidade fica melhor ainda quando se usa o codificador do projeto aoTuV.

Não conheço muito sobre codecs de vídeo, mas parece que o único mais livre é o Theora, infelizmente o codificador do Theora tem um péssima qualidade, mas para a felicidade de muitos a mozilla doou cem mil dólares para o desenvolvimento do codec, e o codificador já está ficando com uma ótima qualidade. Para maiores informações clique aqui.

No vlc, escolha as opções que atendem sua necessidade, marque a opção "arquivo" e escolha uma pasta destino e opcionalmente maque a opção "reproduzir localmente" para acompanhar o progresso de codificação do vídeo, então clique em "save". Fazer um servidor de músicas e vídeos? Chama-se streaming e o VLC Media Player pode. Clique em mídia e depois em fluxo.

O Real-Time Transport Protocol (RTP) define um formato padronizado para a entrega de áudio e vídeo ao redor da internet. Foi desenvolvido pelo grupo Audio-Video Transport Working Group. É um dos padrões mais usados para esta tarefa, logo recomendo que você use este protocolo. Clique em stream para iniciar a transmissão.

Há mais ferramentas interessantes no menu ferramentas.