Por padrão o Fluxbox apenas aceita ícones do tipo xpm. Mas ele pode ser compilado para suportar ícones jpg e png também.

Para saber se o seu Fluxbox já tem suporte aos formatos jpg e png, digite:

$ fluxbox -i

Procure por essas linhas:

XPM
IMLIB2

A linha XPM é a que indica a possibilidade de se usar imagens no formato xpm. Já a linha IMLIB2 significa que você pode usar imagens no formato png e jpg no menu.

Caso não encontre alguma dessas linhas (ou nenhuma), você pode recompilar o Fluxbox com suporte a esses formatos, passando os seguintes parâmetros na hora de usar o configure durante a compilação do Fluxbox:

• --enable-imlib2 : esse parâmetro ativa o suporte aos formatos jpg e png;
• --enable-xpm: ativa suporte ao formato .xpm (é o padrão).

Sabendo disso, a compilação do Fluxbox ficaria assim:

$ cd diretório-do-fonte-do-fluxbox
$ ./configure --enable-imlib2 --enable-xpm
$ make
# make install

Isso compilaria o Fluxbox com suporte aos formatos jpg, png e xpm. ;)

Uma vez que já tenha os ícones que serão usados no menu em um formato suportado pelo Fluxbox, copie-os para o diretório criado anteriormente. Caso você ainda não tenha nenhum ícone, um bom lugar para começar a procurar alguns legais é em www.kde-look.org.