GNU Parallel: criando atividades em paralelo com shell script

santosbrc

No tutorial de hoje falarei sobre o GNU Parallel, uma ferramenta fantástica para quem utiliza Shell Script. O Parallel é um utilitário GNU que permite incluir alguma forma de paralelismo nos scripts, melhorando significativamente a performance em sistemas multinúcleo. Seu funcionamento é simples, e lembra um pouco o módulo Multiprocessing do Python.

[ Hits: 6.957 ]

Por: Bruno Rafael Santos em 05/01/2023 | Blog: https://cutt.ly/4H7vrPh

5 0

Denuncie Favoritos Indicar Impressora

Conclusão

Estou adorando utilizar o Parallel, já adaptei todos os meus scripts para trabalhar com ele, utilizando o truque de exportar uma função. A paralelização realmente melhora a velocidade para algumas operações, mas no fim do dia o Parallel é uma gambiarra como é o Multiprocessing. Ele simplesmente chama o comando dado em um outro shell várias vezes de forma transparente e gerencia a lista de tarefas de forma eficiente. Mesmo assim, é uma mão na roda.

Só tomemos cuidado para paralelizar de forma inteligente, não adianta rodar em paralelo operações de disco, deixa o sistema lento. Para cálculos e processamento de arquivos (conversões de vídeo) é uma mão na roda. Fiquemos atentos também à memória RAM que geralmente morre antes do processador.

O que eu acho mais adorável aqui é o esforço do desenvolvedor em divulgar e educar sobre a utilidade. É uma mas melhores man pages que já li, e tem tanta coisa além que o cara merece os parabéns.

Referências

GNU Parallel Man Page: NAME - GNU Parallel 20221222 documentation
Página Oficial: GNU Parallel - GNU Project - Free Software Foundation
CheatSheet: https://www.gnu.org/software/parallel/parallel_cheat.pdf
Canal do Desenvolvedor, Ole Tange, no YouTube: GNU Parallel videos - YouTube
Dica original no VOL: GNU parallel - Um ferramenta para execução de processos em paralelo [Dica]

Página anterior

Páginas do artigo

   1. Introdução
   2. Uso em scripts
   3. Conclusão

Outros artigos deste autor

Guia Rápido do Miniconda para Aplicações Científicas - Instalação e Configuração

Python para pesquisadores: material didático

Tutorial GIMP: Preparando mapas para artigos científicos

Calculando o Imposto de Renda 2015 com o LibreOffice Calc

Recuperação de arquivos do LibreOffice

Leitura recomendada

Ingressando estações de trabalho Ubuntu no AD com Closed In Directory

Ubuntu 14.04 no AD com CiD

Shell Script como serviço no Windows

Piano Gripe 3 - Caracteres de controle

pam_mount e CiD - Gerenciamento centralizado dos mapeamentos de unidades de rede no Ubuntu

Comentários

[1] Comentário enviado por danniel-lara em 05/01/2023 - 21:32h

Muito bacana o Artigo
parabéns

1 0

[2] Comentário enviado por maurixnovatrento em 13/01/2023 - 12:28h

Muito bom artigo.

___________________________________________________________
Conhecimento não se Leva para o Túmulo.
https://github.com/mxnt10

0 0