Eu utilizo o Parallel em meus scripts. Ele exige um pouco mais de preparação. Por exemplo, ele precisa executar do ambiente e não do script (limitação similar à do Multiprocessing), logo precisamos exportar a função que será paralelizada.

#!/bin/bash
function main () {
	echo ${@};
	}

export -f main

parallel main {} ::: ${parâmetros};

No código acima, criei uma função main() que será executada em paralelo. Como o parallel chama a função do ambiente, em vez do script, tenho que a exportar com o `export -f main`. Depois é só utilizar o parallel normalmente.

Dominar a chamada de função do Bash ajuda bastante em lidar com o Parallel e entender o que ele está fazendo. Além disto existem alguns parâmetros dele que são interessantes: --bar: mostra uma barra de progresso com estatísticas, bem interessante. --bg: roda em segundo plano e sai. --dry-run: roda sem chamar o comando, bom para testar os parâmetros. --embed: cria um shell script com o uma versão Bash do Parallel que pode ser utilizada em um sistema onde ele esteja ausente. É praticamente o fonte. --eta: mostra o tempo estimado até o fim. --jobs: o número de atividades para rodar em paralelo. Ele conta como porcentagem de núcleos, e por padrão é 100%. --keep-order: entrega resultados na ordem em que recebe, é o equivalente no Multiprocessing a sync e async. O padrão é entregar conforme fica pronto (async). --link: faz com que os parâmetros de entrada sejam lidos par a par. Este último exige um comentário adicional. O Parallel, quando recebe vários parâmetros, gera combinações deles para passar ao comando. Com --link, ele pareia os parâmetros e passa um por um para o comando, que me soa mais natural. Por exemplo:


É uma distribuição algébrica simples. Com --link ficaria:


No caso padrão, os parâmetros podem ter tamanhos diferentes. No caso do --link também, mas ele reciclará a lista menor na medida do possível para garantir que todo mundo tenha um par. Fiquemos atentos:


Além disto ele tem todo tipo de opção para lidar com comandos remotos, passar parâmetros nomeados, regex, controlar volumes de memória, controlar número de jobs, introspecção, expansões de nome de arquivo e etc. Depois de instalado basta ler o manual, ele é cheio de exemplos.

man parallel

Ele até te um manual só para exemplos que é tão grande quanto o manual principal dele.

man parallel_examples