Os nomes de arquivos, em certas circunstâncias, podem causar sérios problemas. Um deles, especialmente, é o relacionado com a segurança do sistema e de programas que rodam com usuários remotos, mas não limitados a essas circunstâncias. Usuários remotos podem enganar um programa para criar nomes de arquivos indesejáveis (programas devem se prevenir disso, mas nem todos fazem) ou um usuário remoto pode ter penetrado parcialmente em um sistema e tentar usar esse "truque" para penetrar no resto do sistema.

Geralmente você não irá querer incluir ".." (diretório mais elevado) como um valor válido de um usuário inseguro, embora dependa das circunstâncias. Você pode querer usar uma lista de caracteres válidos para nomes de arquivos e proibir os demais. Você pode proibir a mudança de diretório de usuários remotos, mas, não incluindo barra normal (/) na lista de caracteres inválidos, pois, você pode estar analisando dados e transformando-os em nomes de arquivos.

Freqüentemente você não deve suportar englobamento. Apesar de úteis, combinações complexas de englobamento podem levar muito tempo para ser processadas causando a negação do serviço na máquina inteira. Tenha certeza de que esses processos críticos com usuários potencialmente perigosos sejam executados em processos isolados com quantidade limitada de CPU e de outros recursos do sistema, por padrão.

Lembre-se das regras para formação de nomes de arquivos para o GNU/Linux e evite:

• Nomes de arquivo com acentos e caracteres estranhos tipo ç , ª , º ,@ .
• Evite espaços entre os caracteres que formam o nome de um arquivo. Apesar de não ser proibido deve ser evitado com veemência. Muitos processos podem ficar confusos com a passagem de parâmetros de nomes de arquivos com espaços e causar erros.
• Os seguintes caracteres devem ser evitados: !, *, $, %, &, ?, ~, >, <, =...
• Preferencialmente utilize letras minúsculas na formação de nomes.
• Evite traço simples (-) no nome dos arquivos.
• Lembre-se que, nem sempre por ser permitido, é recomendado o uso. Evitar esses nomes de arquivos estranhos é evitar um problema a mais para o administrador.

Adaptado e traduzido parcialmente de:
http://www.dwheeler.com/secure-programs/.../file-names.html