Iniciando o Dansguardian [RESOLVIDO]

tiago1
(usa Ubuntu)

Enviado em 07/07/2012 - 15:35h

Boa tarde a todos,

Tenho um questionamento sobre o Dansguardian, o filtro que trabalha juntamente com o Squid. Eu consegui faz-lo trabalhar com o meu Squid em casa, o qual consegui fazer com o suporte de vários colaboradores do VOL. :)
Bem, a situação é a seguinte: nos meus testes, se eu for no Google e digitar "termoindecente" (não vou escrever aqui o que poderia ser), o Dansguardian realmente trava o acesso mostrando a frase "Acesso Negado" e tal.
Mas o problema é que não estou conseguindo entender onde fica essa lista ou as listas, porque no livro Servidores Linux, do Morimoto, pág 179 diz que as listas são pequenas e desatualizadas de início e "escritas por um estrangeiro e não se adaptam bem a nossa realidade ".(Fonte - Livro do Morimoto Servidores Linux de 2008 - pág 178).
Instalei tanto no Squid3 como o Dansguardian no Debian 6 Squeeze em casa, e ao fazer o comando "ls" na pasta "/etc/dansguardian" os arquivos que me são mostrados são:

authplugins
contentscanners
dansguardian.conf
dansguardianf1.conf
downloadmanagers
languages
languages.tar.gz
lists

E não mostra a pasta "etc/dansguardian/phraselist", que de acordo com o livro, é onde ficam os nomes e/ou assuntos a ser bloqueados. Eu preciso, além de ter as listas de "termos indecentes" atualizadas, fazer um filtro mais específico na escola, onde as crianças procuram "jogos online", "justin bieber (principalmente no Google Imagens)", "rebeldes" e outras bobagens do gênero. Só o Squid não está dando conta(embora tenha ajudado MUITO), pois mesmo usando o parâmetro "dstdom_regex", não é suficiente,já que ele se baseia no nome do site e não no conteúdo dele, como o Dansguardian.

É possível separar em listas diferentes esses arquivos? Por exemplo, uma lista chamada "termos_feios" e outra chamada "buscas_bobas_alunos" e ambas trabalharem no Dansguardian ou tem que ficar tudo junto na mesma lista?

Preciso testar BEM em casa, antes de aplicar lá, para evitar transtornos.

Espero que eu tenha conseguido explicar bem a situação. Mas o Squid está me ajudando bastante, apenas estou alimentando as listas dele, dentro das possibilidades de tempo.

Grato pelo espaço e possível atenção.

removido
(usa Nenhuma)

Enviado em 07/07/2012 - 15:48h

Tá desatualizado! Fica tudo no lists.

# ls /etc/dansguardian/lists/phraselists



Dá uma olhada:

# vi /etc/dansguardian/lists/weightedphraselist

* Dica:

Deixe seu squid somente como proxy cache. Deixe toda parte de filtro de conteúdo para o dansguardian. Baixe sua blacklist e crie um script para atualização automática do mesmo.

Ex:


# cd lists

Baixando uma blacklist:

http://urlblacklist.com/cgi-bin/commercialdownload.pl?type=download&file=bigblacklist

Descompactando a lista:

# tar -xvf bigblacklist.tar.gz

Referência: http://www.vivaolinux.com.br/artigo/DansGuardian-versoes-2.9.3.0-e-superiores-em-Debian-5.01/?pagina...

Use o esquema de grupos para montar regras distintas. E regras de bloqueio personalizadas faça no dansquardian.

Abraço!

tiago1
(usa Ubuntu)

Enviado em 07/07/2012 - 18:48h

Desatualizado então o livro? Puxa, já rabisquei ele aqui com as novas dicas e irei testar. =)

Obrigado pelo retorno e posto o resultado!

tiago1
(usa Ubuntu)

Enviado em 07/07/2012 - 19:17h

Pelo que entendi:

authplugins
contentscanners
dansguardian.conf
dansguardianf1.conf
downloadmanagers
languages
languages.tar.gz
lists

Alguns deles são arquivos, outros são diretórios e é no diretório "lists" que está tudo então.

Ok, vou tentar de novo!

tiago1
(usa Ubuntu)

Enviado em 07/07/2012 - 20:19h

Ok, olhei (usando o Nano como editor, acho mais rápido pra salvar os arquivos), mas vi uma lista de "Includes". Não sei o que significam. Eu estava esperando uma lista do tipo:

site1
site2
site3
palavra_tal

Neste estilo assim. Elas não podem ser visualizadas ou ficam dentro destes "Includes"?

Se usa o "wget -c" pra baixar as listas pelo que entendi, mas como manipulo elas?

Eu achei mais simples a configuração do Squid do que o do Dansguardian, pelo que estou vendo.

"weightedphraselist" significa "lista de frases ponderadas", no caso seria o filtro específico e personalizado?

Acho que estou confuso porque são muitos arquivos e pastas, e com o livro desatualizado, isso contribui para o problema. :(

removido
(usa Nenhuma)

Enviado em 07/07/2012 - 20:48h

Tu não queria filtrar por palavras? Em relação a bloquei por domínios... Baixe a blacklist.

A regra principal para domínios fica aqui:

# vi /etc/dansguardian/lists/bannedsitelist

Se você quer criar uma lista sua, basta acrescentar o caminho.

Ex:

# vi /etc/dansguardian/lists/bannedsitelist
.Include</etc/dansguardian/lists/blacklists/minhalistaEscola/domains>
.Include</etc/dansguardian/lists/blacklists/ads/domains>
.Include</etc/dansguardian/lists/blacklists/adult/domains>
.Include</etc/dansguardian/lists/blacklists/audio-video/domains>
.Include</etc/dansguardian/lists/blacklists/chat/domains>
.Include</etc/dansguardian/lists/blacklists/desktopsillies/domains>
.Include</etc/dansguardian/lists/blacklists/dialers/domains>
.Include</etc/dansguardian/lists/blacklists/entertainment/domains>
.Include</etc/dansguardian/lists/blacklists/filehosting/domains>
.Include</etc/dansguardian/lists/blacklists/gambling/domains>
.Include</etc/dansguardian/lists/blacklists/games/domains>

# cd /etc/dansguardian/lists/blacklists

# mkdir minhalistaEscola
# cd minhalistaEscola
# touch domains
# vi domains

# Meus domínios bloqueados

perolasdoorkut.com.br

orkut.com.br

orkut.com

jogos.uol.com.br 

* No caso das urls:

# vi /etc/dansguardian/lists/bannedurllist

* No caso de mimetypes:

vi /etc/dansguardian/lists/bannedmimetypelist

Após fazer suas alterações:

# /etc/init.d/dansguardian reload


Ex da blacklist baixada:

# cat /etc/dansguardian/lists/blacklists/adult/domains

fucknpant.com

chocolatenymph.com

204.177.92.52

webinc.com

pixxx.org

64.59.115.250

blowjobsrus.com

escort-hotel.com

digitalpixwonderland.com

mothervsboy.com

perverse-frauen-sex.startspot.nl

4-live.com

clips.mpics.biz

link4sex.i12.com

hardfuck.hostonfly.com

kinkilink.com

sexe-animal.com

bigboobguide.com

woman-masturbating.info

abundantesmaduras.com

laure1980.blogtrafic.com

mynextstep.net

bloghentai.unblog.fr

hardcorefiestagirls.org

freelesbianphotos.com

64.255.17.106

151.196.153.121

femalefootdomination.hostbnm.com

66.152.86.37

dripping.biz

livelatinporn.com

i-love-panties.com

massive-mammories.net

www-transexual-pictures.com

 

Estou listando só um pedaço desse domais bloquados heim. Só esse arquivo tem 950079 linhas.

Em relação a limites de palavras ponderadas. Estude o esquema de pontuação de palavras do dansguardian.

tiago1
(usa Ubuntu)

Enviado em 07/07/2012 - 23:31h

Opa!

Cara, acho que estou começando a entender o lance que tu falou. Criei o diretório "minhalistaEscola" e já consegui bloquear algumas buscas de palavras.

Consegui acessar as demais listas "domains" e vi o interior. São realmente grandes!

Obrigado pela ajuda amigo!

tiago1
(usa Ubuntu)

Enviado em 07/07/2012 - 23:58h

Entendi agora!

.Include</etc/dansguardian/lists/blacklists/ads/domains>
.Include</etc/dansguardian/lists/blacklists/adult/domains>
.Include</etc/dansguardian/lists/blacklists/audio-video/domains>
.Include</etc/dansguardian/lists/blacklists/chat/domains>
.Include</etc/dansguardian/lists/blacklists/desktopsillies/domains>
.Include</etc/dansguardian/lists/blacklists/dialers/domains>
.Include</etc/dansguardian/lists/blacklists/entertainment/domains>
.Include</etc/dansguardian/lists/blacklists/filehosting/domains>
.Include</etc/dansguardian/lists/blacklists/gambling/domains>
.Include</etc/dansguardian/lists/blacklists/games/domains>

Dentro das pasta "lists", tem a pasta "blacklists", que por sua vez tem a pasta "ads" e que por sua vez tem o arquivo "domain" e dentro deste tem as listas de sites. O que me confundiu é que "blacklists" é uma pastinha e "bannedurllist" é um arquivo, tendo este dentro dele os "includes" (que são funções, se não me engano em linnguagem C existe esse comando "include"). Enfim, são diretórios que chegam num arquivo de texto e dentro deste arquivo de texto existem as linhas mostrando os outros diretórios. Foi isso que me confundiu. Então, vou tentar atualizar as blacklists com os comando passados anteriormente e criar também o filtro personalizado pra bloquear por palavras e buscas. :)

Mais uma vez, agradeço o retorno!

tiago1
(usa Ubuntu)

Enviado em 08/07/2012 - 00:14h

Sim, por palavras e conteúdo do website também, baseado no código HTMl do site, como diz no livro sobre como o Dansguardian trabalha.

:)

removido
(usa Nenhuma)

Enviado em 08/07/2012 - 02:18h

O dansguardian não bloqueia apenas domínios em blacklist, ele pontua palavras de sites que não estão em blacklist, e a soma dessa pontuação bloquea a pagina por atingir o limite delimitado por ti. Que é o bloqueio por limite de palavras ponderadas.

Onde é limitada essa pontuação?

# vi /etc/dansguardian/dansguardianf1.conf

# 50 is for young children,  100 for old children,  160 for young adults.

naughtynesslimit = 50 

Esse é o limite de pontos do grupo defaul. Se você não definiu grupos, esse é a pontuação máxima de todos os usuários.

Como isso funciona?

Exitem listas de palavras, e cada palavra tem um valor, a soma desses valores não podem passar do que estiver definido no conf do grupo, no caso: "naughtynesslimit = 50".

E onde é definido isso?

Ex:
# vi /etc/dansguardian/lists/weightedphraselist

.Include</etc/dansguardian/lists/phraselists/pornography/weighted_portuguese> 

O moderador pode me notificar por isso! hehehehe....

* Pornografia
# cat /etc/dansguardian/lists/phraselists/pornography/weighted_portuguese

# Palavras diretamente relacionadas a sexo

##########

< anal ><10>

< [*****]><20>

< bisexual><20>

< bissexual><20>

< bordel><20>

< bosta><20>

< [*****]><20>

< bucetud><20>

< bunda><20>

< cacete><20>

< cagão><20>

< cagad><20>

< cagando ><20>

< cagar><20>

< calcinha><5>

< caralh><20>

< clitóris><10>

< cú ><20>

< dominatrix><20>

< ejaculad><20>

< [*****] ><20>

< [*****]><20>

< ejaculação><20>

< erótica><20>

< [*****]><20>##########

# Gírias relacionadas a sexo

##########

< [*****]><30>

< bola-gato><30>

< bola gato><30>

< [*****]><30>

< [*****]><5>

< chupeteir><10>

< [*****]><20>

< [*****]><30>

< [*****]><30>

< gulosa><10>

< lacraia><20>

< lesbo><30>

< lezbo><30>

< lolita><30>

< pombaloca><30>

< pombalouca><30>

< popozão><30>

< rabo><10>

< rabão><15>

< swingue ><50>

< [*****]><10>

< traseiro><10>

< turbinada><10>

< xana><30>

< [*****]><30>

< xavasca><30>

##########

# Palavras comumente utilizadas em sites

##########

< maior de idade><5>

< menor de idade><5>

< acompanhantes><5>

< adulto><5>

< adulta><5>

< álbum><5>

< [*****]><5>

<amadora>,<foto><50> 

* Palavrões

# cat /etc/dansguardian/lists/phraselists/badwords/weighted_portuguese

#listcategory: "Bad words (Portuguese)"



<filho da [*****]><80>

<corno><10>

<[*****]><10>

<otário><10>

<[*****]><10>

<[*****]><5>

<caga pau><10>

<paga pau><10>

 

Ai você pode sair brincando!!! Pode adicionar palavras, remover palavras, diminuir a pontuação das palavras, aumentar a pontuação das palavras, aumentar a pontuação do naughtynesslimit, diminuir a pontuação do naughtynesslimit.

Entendeu?

tiago1
(usa Ubuntu)

Enviado em 08/07/2012 - 12:39h

Creio que entendi sim Amarildo, vou testar e posto o resultado, só preciso me organizar na questão do tempo, pois a próxima semana estará movimentada pra mim!

E grato por sua paciência em sempre retornar e explicar as dúvidas que foram surgindo! Estou me "aventurando" pelo mundo Linux e achando muito legal! Embora eu já tenha lido bastante sobre servidores Linux, somente agora consegui equipamento pra testar em casa e no trabalho.

Não tem problema deixar o tópico aqui aberto? Ou tenho que marcar como "resolvido"?

Muito grato, abraços!

removido
(usa Nenhuma)

Enviado em 08/07/2012 - 13:35h

Deixe aberto. Vai testando ai! No que eu poder te ajudar eu vou ajudando. É bom que fica como uma base de conhecimento. Sua duvida é a duvida de muitos usuários que estão começando a trabalhar com Dansguardian.

Abraço!