e parece que o zstd vai substituir o xz para compactação de pacotes no arch linux

1. e parece que o zstd vai substituir o xz para compactação de pacotes no arch linux

niquelnausea
(usa Arch Linux)

Enviado em 01/10/2019 - 19:21h

já faz algum tempo que vez ou outra aparecem perguntas (e mais recentemente testes) com o formato de compactação zstd em pacotes do arch, e recentemente parece que em um futuro não muito distante, este será o novo formato padrão dos pacotes disponibilizados.
quando adotado, o formato xz trouxe como ponto positivo a economia muitos mb de download a cada atualização do arch, e um dos pontos criticados na época era a demora considerável na construção local de pacotes grandes e elevado consumo de recursos (processador e memoria), principalmente em maquinas com hardware mais modesto, porém sempre mostrando ter a melhor taxa de compactação entre seus concorrentes.
o zstd apresenta uma taxa de compressão levemente inferior ao xz, mas consome menos recursos tanto para compactação, quanto a descompressão dos pacotes, além de uma velocidade muito superior a do xz em suas operções.

https://bugs.archlinux.org/task/59081
https://www.mail-archive.com/arch-dev-public@archlinux.org/msg25930.html

3 0

Quote

2. Re: e parece que o zstd vai substituir o xz para compactação de pacotes no arch linux

removido
(usa Nenhuma)

Enviado em 01/10/2019 - 19:40h

niquelnausea escreveu:

já faz algum tempo que vez ou outra aparecem perguntas (e mais recentemente testes) com o formato de compactação zstd em pacotes do arch, e recentemente parece que em um futuro não muito distante, este será o novo formato padrão dos pacotes disponibilizados.
quando adotado, o formato xz trouxe como ponto positivo a economia muitos mb de download a cada atualização do arch, e um dos pontos criticados na época era a demora considerável na construção local de pacotes grandes e elevado consumo de recursos (processador e memoria), principalmente em maquinas com hardware mais modesto, porém sempre mostrando ter a melhor taxa de compactação entre seus concorrentes.
o zstd apresenta uma taxa de compressão levemente inferior ao xz, mas consome menos recursos tanto para compactação, quanto a descompressão dos pacotes, além de uma velocidade muito superior a do xz em suas operções.

https://bugs.archlinux.org/task/59081
https://www.mail-archive.com/arch-dev-public@archlinux.org/msg25930.html

Acho que seria uma boa evolução para compilações locais e pacotes do AUR, alem de onerar menos os servidores onde os pacotes do arch são gerados.

Estou usando o zstd como algoritmo de compactação do btrfs, e gostei bastante do resultado. Tenho uma aparente melhora no desempenho e "ganhei" um terço do espaço usado pelas partições / e /home
Mas quando pesquisei para o sistema de arquivos vi que tem coisa ainda melhor (Não busquei dados atualizados, mas o lz4 parece bem interessante tambem...):

https://github.com/facebook/zstd
https://github.com/lz4/lz4

0 0

Quote

3. Re: e parece que o zstd vai substituir o xz para compactação de pacotes no arch linux

niquelnausea
(usa Arch Linux)

Enviado em 01/10/2019 - 23:55h

erisrjr escreveu:
Acho que seria uma boa evolução para compilações locais e pacotes do AUR, alem de onerar menos os servidores onde os pacotes do arch são gerados.

Estou usando o zstd como algoritmo de compactação do btrfs, e gostei bastante do resultado. Tenho uma aparente melhora no desempenho e "ganhei" um terço do espaço usado pelas partições / e /home
Mas quando pesquisei para o sistema de arquivos vi que tem coisa ainda melhor (Não busquei dados atualizados, mas o lz4 parece bem interessante tambem...):

https://github.com/facebook/zstd
https://github.com/lz4/lz4

o lz4 é rápido e leve, mas compacta menos que a maioria dos outros formatos. se velocidade de compressão e/ou descompressão são importantes, mas tamanho não, a melhor opção é o lz4. o zstd fica justamente entre esses formatos rápidos e os que tem grande taxa de compactação. o ubuntu pretende adotar esse formato para a imagem do kernel já para a próxima versão 19.10.
sobre o btrfs, o lz4 chegou a ser cogitado https://btrfs.wiki.kernel.org/index.php/Compression#Are_there_other_compression_methods_supported.3F e ganhou algumas versões de testes, mas com a implementação do zstd, abandonaram o desenvolvimento por não trazer vantagens significativas.
no arch a opção de usar o lz4 para a imagem do kernel já é antiga, eu uso essa configuração no mkinitcpio e é perceptível a melhora no tempo de inicialização do sistema, e também durante as atualizações onde se é necessário recriar essas imagens.

1 0

Quote

4. Re: e parece que o zstd vai substituir o xz para compactação de pacotes no arch linux

removido
(usa Nenhuma)

Enviado em 02/10/2019 - 00:11h

niquelnausea escreveu:
o lz4 é rápido e leve, mas compacta menos que a maioria dos outros formatos. se velocidade de compressão e/ou descompressão são importantes, mas tamanho não, a melhor opção é o lz4. o zstd fica justamente entre esses formatos rápidos e os que tem grande taxa de compactação. o ubuntu pretende adotar esse formato para a imagem do kernel já para a próxima versão 19.10.
sobre o btrfs, o lz4 chegou a ser cogitado https://btrfs.wiki.kernel.org/index.php/Compression#Are_there_other_compression_methods_supported.3F e ganhou algumas versões de testes, mas com a implementação do zstd, abandonaram o desenvolvimento por não trazer vantagens significativas.
no arch a opção de usar o lz4 para a imagem do kernel já é antiga, eu uso essa configuração no mkinitcpio e é perceptível a melhora no tempo de inicialização do sistema, e também durante as atualizações onde se é necessário recriar essas imagens.

O zstd compactando mais é vantagem pelo tamanho dos pacotes não aumentar muito( Problema para que tem franquia de dados baixa), e pelos links que vc passou o tempo para cria-los sera bem menor o que tambem é bom.

Sou post me lembrou de trocar a compactação no mkinitcpio, usava o xz antes mas na ultima instalação nem alterei do padrão (gzip), para o lz4 para ver o resultado aqui

0 0

Quote