Deduplicação com LessFS

Neste artigo mostro como funciona o LessFS, uma ferramenta para deduplicar arquivos economizando espaço em disco. Essa ferramenta é ótima para servidores de arquivos.

[ Hits: 19.472 ]

Por: Ricardo Lino Olonca em 13/10/2011


Configuração e uso



Execute o comando:

# mklessfs -fc /etc/lessfs.cfg

Com esse comando a configuração padrão criará uma pasta /data na raiz. Esta pasta conterá os banco de dados necessário ao LessFS.

# mkdir /mnt/lessfs
# lessfs /etc/lessfs.cfg /mnt/lessfs


Esse comando montará o drive /mnt/lessfs. É neste drive que deverão ser copiados os dados que serão deduplicados.

Nos meus testes, utilizei uma pasta com 212 arquivos e 55Gb de espaço. Modifiquei apenas a diretiva COMPRESSION do arquivo lessfs.cfg. Para efeito de teste, utilizei um dos seguintes valores em cada teste:
  • COMPRESSION=qlz - O padrão
  • COMPRESSION=none - Sem compactação
  • COMPRESSION=bzip - Compactação usando Bzip.

Quando se usa o ls -l, é mostrado o resultado dos arquivos sem a deduplicação. O estado real dos arquivos pode ser visto no arquivo /mnt/lessfs/.lessfs/lessfs_status.

Os resultados do desempenho são os mostrados no gráfico abaixo. Nele eu mostro o quanto de compactação foi ganho, bem como a velocidade de gravação em cada configuração.
Linux: Deduplicação com LessFS

Conclusão

O uso de deduplicação está crescendo em servidores, e o LessFS é uma opção de software a ser considerada.

Ao contrário do que eu pensei, a configuração padrão é mais rápida do que a sem compactação. Se usar Bzip, o ganho de espaço é fenomenal, mas além do baixo desempenho, o processamento também é muito alto.

Dependendo da situação, pode-se usar várias pastas com diferentes configurações, como Bzip para arquivos que não são acessados com muita frequência, padrão para arquivos de programas etc.

Página anterior    

Páginas do artigo
   1. Introdução
   2. Configuração e uso
Outros artigos deste autor

Entendendo o TCP/IP

Problemas encontrados na adoção do IPv6

O fim está próximo

Entendendo TCP/IP (Parte 5) - Portas TCP/UDP

Entendendo TCP/IP (Parte 3) - Resolução de nomes

Leitura recomendada

Criando discos virtuais em máquinas remotas

GlusterFS - Um Sistema de Arquivos Distribuídos (parte 2)

Acessando partições NTFS no Linux

Reparticionando ReiserFS via linha de comando

Explorando NFS mal configurado

  
Comentários

Nenhum comentário foi encontrado.


Contribuir com comentário




Patrocínio

Site hospedado pelo provedor RedeHost.
Linux banner

Destaques

Artigos

Dicas

Tópicos

Top 10 do mês

Scripts