ECache - O cache efetivo
Agora você terá um eficiente sistema de cache, que abrange vídeos do Youtube, arquivos do Windows Update e reescreve URLs para otimizar imagens do Orkut e updates de antivírus. Assim você pode ter um ganho de 30% ou mais em seu link e economia de tráfego.
[ Hits: 55.841 ]
Por: Rodrigo Manga em 29/10/2008
Scripts
Aqui está o código dos scripts necessários ao sistema:
rewriter.php
adm.php
downloader.php
ecache.php
ecache_db.sql
rewriter.php
#!/usr/bin/php
<?PHP
//error_reporting(0);
include "adm.php";
$exit = false;
$f = fopen('php://stdin','r');
while ($exit == false) { // loop for wait squid url
// get url from squid
$url = fgets($f);
$url = explode(" ",$url);
$ip = $url[1];
$url = $url[0];
$url = explode("\n",$url);
$url = $url[0];
if ($url == "") { // squid exiting...
logadd("exiting...");
exit;
} else {
logadd("IN:($ip)$url");
if (preg_match("/^http:\/\/dl[1-9]\.avgate\.net\.*/", $url, $resultado)) {
$url = preg_replace("/\/dl[0-9]\./", "/dl7.", $url);
print "$url\n";
logadd("OUT:$url");
} else if (preg_match("/^http:\/\/download[0-9]{3}\.avast\.com.*/", $url, $resultado)) {
$url = preg_replace("/\/download[0-9][0-9][0-9]\./", "/download626.", $url);
print "$url\n";
logadd("OUT:$url");
} else if (preg_match("/^http:\/\/akamai\.avg\.com.*/", $url, $resultado)) {
$url = preg_replace("/\/akamai\./", "/downloadfree.", $url);
print "$url\n";
logadd("OUT:$url");
} else if (preg_match("/^http:\/\/update\.avg\.com.*/", $url, $resultado)) {
$url = preg_replace("/\/update\./", "/guru.", $url);
print "$url\n";
logadd("OUT:$url");
} else if (preg_match("/^http:\/\/img[2-9]\.orkut\.com.*/", $url, $result)) {
// ############################### ORKUT
$url = preg_replace("/\/img[0-9]\./", "/img1.", $url);
print "$url\n";
logadd("OUT:$url");
} else if (preg_match("/\.windowsupdate\.com\//", $url,$result)){
// ############################### WINDOWS UPDATE
// get file name
$file = get_filename($url);
if ($file != "") {
check_file($file,$url);
} else { // dont find file, repass url
print "$url\n";
logadd("OUT:$url");
}
} else if (preg_match("/\.youtube\.com/", $url,$result)){
// ############################### YOUTUBE
// get videoid
$videoid = get_videoid($url);
// get quality
$fmt = get_quality($url);
$file="$fmt$videoid.flv";
// check if url need to pass
if (($file != "") and (strrpos($url,"/get_video?") > 0)) {
check_file($file,$url);
} else { // dont find file, repass url
print "$url\n";
logadd("OUT:$url");
}
} else {
// url not match
print "$url\n";
logadd("OUT:$url");
}
}
}
fclose($f);
?>
<?PHP
//error_reporting(0);
include "adm.php";
$exit = false;
$f = fopen('php://stdin','r');
while ($exit == false) { // loop for wait squid url
// get url from squid
$url = fgets($f);
$url = explode(" ",$url);
$ip = $url[1];
$url = $url[0];
$url = explode("\n",$url);
$url = $url[0];
if ($url == "") { // squid exiting...
logadd("exiting...");
exit;
} else {
logadd("IN:($ip)$url");
if (preg_match("/^http:\/\/dl[1-9]\.avgate\.net\.*/", $url, $resultado)) {
$url = preg_replace("/\/dl[0-9]\./", "/dl7.", $url);
print "$url\n";
logadd("OUT:$url");
} else if (preg_match("/^http:\/\/download[0-9]{3}\.avast\.com.*/", $url, $resultado)) {
$url = preg_replace("/\/download[0-9][0-9][0-9]\./", "/download626.", $url);
print "$url\n";
logadd("OUT:$url");
} else if (preg_match("/^http:\/\/akamai\.avg\.com.*/", $url, $resultado)) {
$url = preg_replace("/\/akamai\./", "/downloadfree.", $url);
print "$url\n";
logadd("OUT:$url");
} else if (preg_match("/^http:\/\/update\.avg\.com.*/", $url, $resultado)) {
$url = preg_replace("/\/update\./", "/guru.", $url);
print "$url\n";
logadd("OUT:$url");
} else if (preg_match("/^http:\/\/img[2-9]\.orkut\.com.*/", $url, $result)) {
// ############################### ORKUT
$url = preg_replace("/\/img[0-9]\./", "/img1.", $url);
print "$url\n";
logadd("OUT:$url");
} else if (preg_match("/\.windowsupdate\.com\//", $url,$result)){
// ############################### WINDOWS UPDATE
// get file name
$file = get_filename($url);
if ($file != "") {
check_file($file,$url);
} else { // dont find file, repass url
print "$url\n";
logadd("OUT:$url");
}
} else if (preg_match("/\.youtube\.com/", $url,$result)){
// ############################### YOUTUBE
// get videoid
$videoid = get_videoid($url);
// get quality
$fmt = get_quality($url);
$file="$fmt$videoid.flv";
// check if url need to pass
if (($file != "") and (strrpos($url,"/get_video?") > 0)) {
check_file($file,$url);
} else { // dont find file, repass url
print "$url\n";
logadd("OUT:$url");
}
} else {
// url not match
print "$url\n";
logadd("OUT:$url");
}
}
}
fclose($f);
?>
adm.php
<?PHP
//constants
$cache_log = "/tmp/rewriter.log";
$cache_dir = "/var/www/ecache";
$cache_limit = 1024*1024*1024*30;// em bytes! 1024*1000*20 = 20 Mb
$cache_scr = "/etc/squid3";
$mysql_host = "localhost";
$mysql_user = "root";
$mysql_pass = "senhazim";
$server_ip = "10.0.1.1:8080";
$cache_url = "http://$server_ip/ecache";
$packet_size = 200; // in bytes
$packet_delay = 2000;
// time in ms
$con = mysql_pconnect($mysql_host,$mysql_user,$mysql_pass) or die("error mysql");
mysql_select_db("ecache",$con) or die("error DB");
function logadd($line) {
global $cache_log;
$flog = fopen("$cache_log",'a');
fwrite($flog,date("H:m:s ").$line."\n");
fclose($flog);
}
function web2mysql($data){
$mes = array("Jan" => 1, "Feb" => 2, "Mar" => 3, "Apr" => 4, "May" => 5, "Jun" => 6, "Jul" => 7, "Aug" => 8, "Sep" => 9, "Oct" => 10, "Nov" => 11, "Dec" => 12);
$data = explode(" ",$data);
return $data[3]."-".$mes[$data[2]]."-".$data[1]." ".$data[4];
}
function get_filename($url) {
$url = preg_replace("/\?/","&",$url);
$url = preg_replace("/&/","//",$url);
if (preg_match("/[0-9]{10}$/", $url, $resultado)) {
// metadados
$url = explode("/",$url);
return $url[(count($url)-3)];
} else {
// arquivos do winupdate
$url = explode("/",$url);
return $url[(count($url)-1)];
}
}
function get_videoid($url) {
$urla = preg_replace("/\?/","&",$url);
$urla = explode("&",$urla);
$ifim=count($urla);
for ($iini=0;$iini<=$ifim;$iini++) {
$urlnn=explode("=",$urla[$iini]);
if (trim($urlnn[0]) == "video_id"){
$ok=$iini;
$vid=$urlnn[1];
}
}
return $vid;
}
function get_quality($url) {
$urla = preg_replace("/\?/","&",$url);
$urla = explode("&",$urla);
$ifim=count($urla);
for ($iini=0;$iini<$ifim;$iini++) {
$urlnn=explode("=",$urla[$iini]);
if (trim($urlnn[0]) == "fmt") {
//blz achou fmt
$ok=$iini;
$fmt=$urlnn[1];
}
}
return $fmt;
}
function delete_file($filename){
global $cache_dir;
$filepath = "$cache_dir/$filename";
if (file_exists($filepath)) {
unlink ($filepath);
}
$query = "UPDATE ecache SET deleted=1, ndeleted=ndeleted+1 WHERE file='$filename'";
mysql_query($query);
loga("Deleted $filename");
}
function check_limit($filesize) {
global $cache_limit;
$total = 999999999999999999999;
while (($total+$filesize) > $cache_limit) {
$query = "SELECT SUM(size) FROM ecache";
$result = mysql_query($query);
$nresults = mysql_num_rows($result);
if ($nresults > 0) list($total) = mysql_fetch_row($result);
if (($total+$filesize) > $cache_limit) {
$query = "SELECT file FROM ecache WHERE deleted=0 order by `last_request` asc,`requested` desc, ndeleted asc limit 1";
$result = mysql_query($query);
$nresults = mysql_num_rows($result);
if ($nresults == 1) {
list($file) = mysql_fetch_row($result);
deleta_video($file);
} else break;
}
}
}
function my_get_headers($url ) {
$url_info=parse_url($url);
if (isset($url_info['scheme']) && $url_info['scheme'] == 'https') {
$port = 443;
@$fp=fsockopen('ssl://'.$url_info['host'], $port, $errno, $errstr, 10);
} else {
$port = isset($url_info['port']) ? $url_info['port'] : 80;
@$fp=fsockopen($url_info['host'], $port, $errno, $errstr, 10);
}
if($fp) {
stream_set_timeout($fp, 10);
$head = "HEAD ".@$url_info['path']."?".@$url_info['query'];
$head .= " HTTP/1.0\r\nHost: ".@$url_info['host']."\r\n\r\n";
fputs($fp, $head);
while(!feof($fp)) {
if($header=trim(fgets($fp, 1024))) {
$sc_pos = strpos( $header, ':' );
if( $sc_pos === false ) {
$headers['status'] = $header;
} else {
$label = substr( $header, 0, $sc_pos );
$value = substr( $header, $sc_pos+1 );
$headers[strtolower($label)] = trim($value);
}
}
}
if ((strpos($headers['status'],'302') === false) and (strpos($headers['status'],'303') === false)) {
return $headers;
} else {
return my_get_headers($headers['location']);
}
} else {
return false;
}
}
function check_file($file,$url) {
global $cache_dir, $cache_scr, $cache_url;
// check if file is on DB
$query = "SELECT file FROM ecache WHERE file='$file'";
$result = mysql_query($query);
$nresults = mysql_num_rows($result);
if (($nresults == 0) or (!file_exists("$cache_dir/$file"))){
// get size and last modified of file
$headers = my_get_headers($url);
$size = $headers["content-length"];
$last_modified = web2mysql($headers["last-modified"]);
if ($size == "") {
logadd("Error when get file header $file");
print "$url\n";
} else {
if ($nresultados == 0){
$query = "INSERT INTO ecache(file,size,modified,last_request)";
$query .= "values('$file',$size,'$last_modified',now())";
mysql_query($query);
} else {
$query = "UPDATE ecache SET deleted=0, downloaded=0 where file='$file'";
mysql_query($query);
}
// download in background
system("($cache_scr/downloader.php ".'"'.$url.'") > /dev/null &');
// rewrite url
print "$cache_url.php?file=$file\n";
logadd("MISS:$cache_url.php?file=$file");
}
} else {
// if file exists
$query = "SELECT size,dowloaded FROM ecache WHERE file='$file'";
$result = mysql_query($query);
list($size,$downloaded) = mysql_fetch_row($result);
if ($size == $downloaded){
// if download is completed
print "$cache_url/$file\n";
logadd("HIT:$cache_url/$file");
// update hit
$query = "UPDATE ecache SET requested=requested+1, last_request=now() where file='$file'";
mysql_query($query);
} else {
// while downloading...
print "$cache_url.php?file=$file\n";
logadd("MISS:$cache_url.php?file=$file");
}
}
}
?>
//constants
$cache_log = "/tmp/rewriter.log";
$cache_dir = "/var/www/ecache";
$cache_limit = 1024*1024*1024*30;// em bytes! 1024*1000*20 = 20 Mb
$cache_scr = "/etc/squid3";
$mysql_host = "localhost";
$mysql_user = "root";
$mysql_pass = "senhazim";
$server_ip = "10.0.1.1:8080";
$cache_url = "http://$server_ip/ecache";
$packet_size = 200; // in bytes
$packet_delay = 2000;
// time in ms
$con = mysql_pconnect($mysql_host,$mysql_user,$mysql_pass) or die("error mysql");
mysql_select_db("ecache",$con) or die("error DB");
function logadd($line) {
global $cache_log;
$flog = fopen("$cache_log",'a');
fwrite($flog,date("H:m:s ").$line."\n");
fclose($flog);
}
function web2mysql($data){
$mes = array("Jan" => 1, "Feb" => 2, "Mar" => 3, "Apr" => 4, "May" => 5, "Jun" => 6, "Jul" => 7, "Aug" => 8, "Sep" => 9, "Oct" => 10, "Nov" => 11, "Dec" => 12);
$data = explode(" ",$data);
return $data[3]."-".$mes[$data[2]]."-".$data[1]." ".$data[4];
}
function get_filename($url) {
$url = preg_replace("/\?/","&",$url);
$url = preg_replace("/&/","//",$url);
if (preg_match("/[0-9]{10}$/", $url, $resultado)) {
// metadados
$url = explode("/",$url);
return $url[(count($url)-3)];
} else {
// arquivos do winupdate
$url = explode("/",$url);
return $url[(count($url)-1)];
}
}
function get_videoid($url) {
$urla = preg_replace("/\?/","&",$url);
$urla = explode("&",$urla);
$ifim=count($urla);
for ($iini=0;$iini<=$ifim;$iini++) {
$urlnn=explode("=",$urla[$iini]);
if (trim($urlnn[0]) == "video_id"){
$ok=$iini;
$vid=$urlnn[1];
}
}
return $vid;
}
function get_quality($url) {
$urla = preg_replace("/\?/","&",$url);
$urla = explode("&",$urla);
$ifim=count($urla);
for ($iini=0;$iini<$ifim;$iini++) {
$urlnn=explode("=",$urla[$iini]);
if (trim($urlnn[0]) == "fmt") {
//blz achou fmt
$ok=$iini;
$fmt=$urlnn[1];
}
}
return $fmt;
}
function delete_file($filename){
global $cache_dir;
$filepath = "$cache_dir/$filename";
if (file_exists($filepath)) {
unlink ($filepath);
}
$query = "UPDATE ecache SET deleted=1, ndeleted=ndeleted+1 WHERE file='$filename'";
mysql_query($query);
loga("Deleted $filename");
}
function check_limit($filesize) {
global $cache_limit;
$total = 999999999999999999999;
while (($total+$filesize) > $cache_limit) {
$query = "SELECT SUM(size) FROM ecache";
$result = mysql_query($query);
$nresults = mysql_num_rows($result);
if ($nresults > 0) list($total) = mysql_fetch_row($result);
if (($total+$filesize) > $cache_limit) {
$query = "SELECT file FROM ecache WHERE deleted=0 order by `last_request` asc,`requested` desc, ndeleted asc limit 1";
$result = mysql_query($query);
$nresults = mysql_num_rows($result);
if ($nresults == 1) {
list($file) = mysql_fetch_row($result);
deleta_video($file);
} else break;
}
}
}
function my_get_headers($url ) {
$url_info=parse_url($url);
if (isset($url_info['scheme']) && $url_info['scheme'] == 'https') {
$port = 443;
@$fp=fsockopen('ssl://'.$url_info['host'], $port, $errno, $errstr, 10);
} else {
$port = isset($url_info['port']) ? $url_info['port'] : 80;
@$fp=fsockopen($url_info['host'], $port, $errno, $errstr, 10);
}
if($fp) {
stream_set_timeout($fp, 10);
$head = "HEAD ".@$url_info['path']."?".@$url_info['query'];
$head .= " HTTP/1.0\r\nHost: ".@$url_info['host']."\r\n\r\n";
fputs($fp, $head);
while(!feof($fp)) {
if($header=trim(fgets($fp, 1024))) {
$sc_pos = strpos( $header, ':' );
if( $sc_pos === false ) {
$headers['status'] = $header;
} else {
$label = substr( $header, 0, $sc_pos );
$value = substr( $header, $sc_pos+1 );
$headers[strtolower($label)] = trim($value);
}
}
}
if ((strpos($headers['status'],'302') === false) and (strpos($headers['status'],'303') === false)) {
return $headers;
} else {
return my_get_headers($headers['location']);
}
} else {
return false;
}
}
function check_file($file,$url) {
global $cache_dir, $cache_scr, $cache_url;
// check if file is on DB
$query = "SELECT file FROM ecache WHERE file='$file'";
$result = mysql_query($query);
$nresults = mysql_num_rows($result);
if (($nresults == 0) or (!file_exists("$cache_dir/$file"))){
// get size and last modified of file
$headers = my_get_headers($url);
$size = $headers["content-length"];
$last_modified = web2mysql($headers["last-modified"]);
if ($size == "") {
logadd("Error when get file header $file");
print "$url\n";
} else {
if ($nresultados == 0){
$query = "INSERT INTO ecache(file,size,modified,last_request)";
$query .= "values('$file',$size,'$last_modified',now())";
mysql_query($query);
} else {
$query = "UPDATE ecache SET deleted=0, downloaded=0 where file='$file'";
mysql_query($query);
}
// download in background
system("($cache_scr/downloader.php ".'"'.$url.'") > /dev/null &');
// rewrite url
print "$cache_url.php?file=$file\n";
logadd("MISS:$cache_url.php?file=$file");
}
} else {
// if file exists
$query = "SELECT size,dowloaded FROM ecache WHERE file='$file'";
$result = mysql_query($query);
list($size,$downloaded) = mysql_fetch_row($result);
if ($size == $downloaded){
// if download is completed
print "$cache_url/$file\n";
logadd("HIT:$cache_url/$file");
// update hit
$query = "UPDATE ecache SET requested=requested+1, last_request=now() where file='$file'";
mysql_query($query);
} else {
// while downloading...
print "$cache_url.php?file=$file\n";
logadd("MISS:$cache_url.php?file=$file");
}
}
}
?>
downloader.php
#!/usr/bin/php
<?php
error_reporting(0);
include "adm.php";
function update_db(){
global $total,$file;
$query = "UPDATE ecache SET downloaded=$total where file='$file'";
mysql_query($query);
}
// check parms
$url = "";
for ($i = 1; $i <= $argc; $i++) {
$url .= $argv[$i];
}
if ($url == ""){
print "Check parms\n";
logadd("dw:Check parms");
exit(1);
} else {
if (preg_match("/\.windowsupdate\.com\//", $url,$result)) {
// get filename
$file = get_filename($url);
} else
if (preg_match("/\.youtube\.com/", $url,$result)) {
$videoid = get_videoid($url);
// get quality
$fmt = get_quality($url);
$file="$fmt$videoid.flv";
}
$query = "SELECT size,downloaded FROM ecache where file='$file'";
$result = mysql_query($query);
$nresults = mysql_num_rows($result);
if ($nresults == 0){
print "Where are registry ind DB?\n";
logadd("Dont find file registry: $file");
exit(1);
} else {
list($size,$downloaded) = mysql_fetch_row($result);
}
print "$size/$downloaded:";
logadd("downloading $file");
touch("$cache_dir/$file"); // create file
chmod("$cache_dir/$file",0666);// change permissions
$total = 0;
while ($size != $total) {
$fIN = fopen($url,'r');
$fOUT = fopen("$cache_dir/$file", 'w');
$last_mark = microtime(true);
while (!feof($fIN)) {
$buffer = fread($fIN, 1024*8);
$tbuffer = strlen($buffer);
if ($tbuffer > 0) {
$total += $tbuffer;
fwrite($fOUT,$buffer);
set_time_limit(1);
if (microtime(true)-$last_mark > 1) {
$last_mark = microtime(true);
update_db();
}
}
}
fclose($fIN);
fclose($fOUT);
}
update_db();
print "\n$size/$total\n";
loga("END! $file");
}
}
?>
<?php
error_reporting(0);
include "adm.php";
function update_db(){
global $total,$file;
$query = "UPDATE ecache SET downloaded=$total where file='$file'";
mysql_query($query);
}
// check parms
$url = "";
for ($i = 1; $i <= $argc; $i++) {
$url .= $argv[$i];
}
if ($url == ""){
print "Check parms\n";
logadd("dw:Check parms");
exit(1);
} else {
if (preg_match("/\.windowsupdate\.com\//", $url,$result)) {
// get filename
$file = get_filename($url);
} else
if (preg_match("/\.youtube\.com/", $url,$result)) {
$videoid = get_videoid($url);
// get quality
$fmt = get_quality($url);
$file="$fmt$videoid.flv";
}
$query = "SELECT size,downloaded FROM ecache where file='$file'";
$result = mysql_query($query);
$nresults = mysql_num_rows($result);
if ($nresults == 0){
print "Where are registry ind DB?\n";
logadd("Dont find file registry: $file");
exit(1);
} else {
list($size,$downloaded) = mysql_fetch_row($result);
}
print "$size/$downloaded:";
logadd("downloading $file");
touch("$cache_dir/$file"); // create file
chmod("$cache_dir/$file",0666);// change permissions
$total = 0;
while ($size != $total) {
$fIN = fopen($url,'r');
$fOUT = fopen("$cache_dir/$file", 'w');
$last_mark = microtime(true);
while (!feof($fIN)) {
$buffer = fread($fIN, 1024*8);
$tbuffer = strlen($buffer);
if ($tbuffer > 0) {
$total += $tbuffer;
fwrite($fOUT,$buffer);
set_time_limit(1);
if (microtime(true)-$last_mark > 1) {
$last_mark = microtime(true);
update_db();
}
}
}
fclose($fIN);
fclose($fOUT);
}
update_db();
print "\n$size/$total\n";
loga("END! $file");
}
}
?>
ecache.php
<?php
error_reporting(0);
include "/etc/squid3/adm.php";
$url = "";
for ($i = 1; $i <= $argc; $i++) {
$url .= $argv[$i];
}
if($url != "") {
$file = $url;
} else {
$file = $_GET["file"];
if ($file == "") {
print "Check parms\n";
exit(1);
}
}
// wait for file exists
while (!file_exists("$cache_dir/$file")) {
sleep(1);
}
$query = "SELECT size,downloaded FROM ecache where file='$file'";
$result = mysql_query($query);
$nresults = mysql_num_rows($result);
list($size,$downloaded) = mysql_fetch_row($result);
$query = "UPDATE ecache SET requested=requested+1, last_request=now() where file='$file'";
mysql_query($query);
// TODO: check if file have new modification
//config headers
session_cache_limiter('nocache');
header("Expires: Thu, 19 Nov 1981 08:52:00 GMT");
header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");
/* HTTP/1.1 clients and the rest (MSIE 5) */
header("Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0");
/* HTTP/1.0 clients */
header("Pragma: no-cache");
header("Content-Type: application/octet-stream");
header("Content-Disposition: attachment; filename=\"" . $file. "\"");
header("Content-Length: $size");
// send file
$f = fopen("$cache_dir/$file",'r');
$total = 0;
$last_mark = microtime(true);
while ($total < $size) {
usleep($packet_delay);
if ((($total+$packet_size) >= $downloaded) and ($size != $downloaded)) {
// if buffer overflow
$tbuffer = ($downloaded-$total)-2;
} else $tbuffer = $packet_size;
if ($tbuffer > 0) {
$buffer = fread($f, $tbuffer);
print $buffer;
set_time_limit(1);
$total += strlen($buffer);
}
if (($size != $downloaded) and ((microtime(true)-$last_mark) > 1)) {
$ultimo_tempo = microtime(true);
$query ="SELECT downloaded FROM ecache WHERE file='$file'";
$result = mysql_query($query);
$nresults = mysql_num_rows($result);
if ($nresults != 0){
list($downloaded) = mysql_fetch_row($result);
}
}
}
fclose($f);
?>
error_reporting(0);
include "/etc/squid3/adm.php";
$url = "";
for ($i = 1; $i <= $argc; $i++) {
$url .= $argv[$i];
}
if($url != "") {
$file = $url;
} else {
$file = $_GET["file"];
if ($file == "") {
print "Check parms\n";
exit(1);
}
}
// wait for file exists
while (!file_exists("$cache_dir/$file")) {
sleep(1);
}
$query = "SELECT size,downloaded FROM ecache where file='$file'";
$result = mysql_query($query);
$nresults = mysql_num_rows($result);
list($size,$downloaded) = mysql_fetch_row($result);
$query = "UPDATE ecache SET requested=requested+1, last_request=now() where file='$file'";
mysql_query($query);
// TODO: check if file have new modification
//config headers
session_cache_limiter('nocache');
header("Expires: Thu, 19 Nov 1981 08:52:00 GMT");
header("Last-Modified: " . gmdate("D, d M Y H:i:s") . " GMT");
/* HTTP/1.1 clients and the rest (MSIE 5) */
header("Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0");
/* HTTP/1.0 clients */
header("Pragma: no-cache");
header("Content-Type: application/octet-stream");
header("Content-Disposition: attachment; filename=\"" . $file. "\"");
header("Content-Length: $size");
// send file
$f = fopen("$cache_dir/$file",'r');
$total = 0;
$last_mark = microtime(true);
while ($total < $size) {
usleep($packet_delay);
if ((($total+$packet_size) >= $downloaded) and ($size != $downloaded)) {
// if buffer overflow
$tbuffer = ($downloaded-$total)-2;
} else $tbuffer = $packet_size;
if ($tbuffer > 0) {
$buffer = fread($f, $tbuffer);
print $buffer;
set_time_limit(1);
$total += strlen($buffer);
}
if (($size != $downloaded) and ((microtime(true)-$last_mark) > 1)) {
$ultimo_tempo = microtime(true);
$query ="SELECT downloaded FROM ecache WHERE file='$file'";
$result = mysql_query($query);
$nresults = mysql_num_rows($result);
if ($nresults != 0){
list($downloaded) = mysql_fetch_row($result);
}
}
}
fclose($f);
?>
ecache_db.sql
CREATE DATABASE IF NOT EXISTS `ecache`
DEFAULT CHARACTER SET utf8 COLLATE utf8_bin;
USE ecache;
CREATE TABLE IF NOT EXISTS `ecache` (
`file` varchar(50) NOT NULL,
`size` int(10) unsigned NOT NULL default '0',
`downloaded` int(10) unsigned NOT NULL default '0',
`modified` datetime NOT NULL,
`requested` int(10) unsigned NOT NULL default '0',
`last_request` datetime NOT NULL,
`deleted` tinyint(3) unsigned NOT NULL default '0',
`ndeleted` int(10) unsigned NOT NULL default '0',
PRIMARY KEY (`file`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
DEFAULT CHARACTER SET utf8 COLLATE utf8_bin;
USE ecache;
CREATE TABLE IF NOT EXISTS `ecache` (
`file` varchar(50) NOT NULL,
`size` int(10) unsigned NOT NULL default '0',
`downloaded` int(10) unsigned NOT NULL default '0',
`modified` datetime NOT NULL,
`requested` int(10) unsigned NOT NULL default '0',
`last_request` datetime NOT NULL,
`deleted` tinyint(3) unsigned NOT NULL default '0',
`ndeleted` int(10) unsigned NOT NULL default '0',
PRIMARY KEY (`file`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
Páginas do artigo
1. O sistema2. Scripts
3. Arquivos de configuração
Outros artigos deste autor
Thunder Cache - Cache inteligente
Leitura recomendada
Compilação do Squid 3 no Debian Wheezy
Administrando usuários do Squid via web como o Admuser
Squid + Winbind + Samba no AD - Autenticando por grupos
Automatic ACL Blocking List - Sistema automático de listas de bloqueio de ACLs
SquidGuard: Bloqueando o acesso a Web
Comentários
[1] Comentário enviado por rodrigomanga em 29/10/2008 - 11:58h
Pessoal, os scripts que foram postados já estão desatualizados e com bugs, por favor, entrem em www.biazus.com e peguem os novos scripts
Pessoal, os scripts que foram postados já estão desatualizados e com bugs, por favor, entrem em www.biazus.com e peguem os novos scripts
[2] Comentário enviado por arium em 29/10/2008 - 12:05h
As habilidades do Rodrigo em php for Extremamente úteis!, além da portabilidade que ele conseguiu! a utilização do mysql possibilitou diversos controles antes não existentes!!!! nota 10 pro Rodrigão! valeu brother!
As habilidades do Rodrigo em php for Extremamente úteis!, além da portabilidade que ele conseguiu! a utilização do mysql possibilitou diversos controles antes não existentes!!!! nota 10 pro Rodrigão! valeu brother!
[3] Comentário enviado por brunocontin em 29/10/2008 - 15:08h
amigo essa configuração do squid.conf, deve ser colocada em qual posição no .conf, pois no meu mesmo colocando antes do deny all, ele fecha tudo.
amigo essa configuração do squid.conf, deve ser colocada em qual posição no .conf, pois no meu mesmo colocando antes do deny all, ele fecha tudo.
[5] Comentário enviado por powerd0wn em 04/11/2008 - 14:23h
Fala, xará... tudo bom?
Cara, gostei muito do seu artigo, mas a dúvida é a seguinte:
Você faz alguma validação se o arquivo foi alterado?
Pelo que entendi, você apenas verifica se a url já se encontra em cache e, caso sim, direciona para o cache já feito. Mas, digamos que a url seja a mesma, somente o conteúdo seja alterado. Como você faz pra controlar/verificar isso?
Abraços,
Rodrigo Martins
Fala, xará... tudo bom?
Cara, gostei muito do seu artigo, mas a dúvida é a seguinte:
Você faz alguma validação se o arquivo foi alterado?
Pelo que entendi, você apenas verifica se a url já se encontra em cache e, caso sim, direciona para o cache já feito. Mas, digamos que a url seja a mesma, somente o conteúdo seja alterado. Como você faz pra controlar/verificar isso?
Abraços,
Rodrigo Martins
[6] Comentário enviado por rodrigomanga em 05/11/2008 - 00:56h
ainda não faz, é simples de fazer, na próxima versão já deve estar implementado.
ainda não faz, é simples de fazer, na próxima versão já deve estar implementado.
[7] Comentário enviado por dailson em 13/11/2008 - 12:16h
Amigo. Estou tentando pegar os novos códigos, porém na página indicada só tem um link para um fórum onde eu não consigo me registrar, pois a imagem para confirmação não aparece.
Você poderia ajudar:???
Amigo. Estou tentando pegar os novos códigos, porém na página indicada só tem um link para um fórum onde eu não consigo me registrar, pois a imagem para confirmação não aparece.
Você poderia ajudar:???
[8] Comentário enviado por chiareloto em 17/12/2008 - 23:42h
Amigo fiz conforme o passo a passo mais quando deixo habilitado no squid a funcao .youtube.com ele nao consegue abrir os videos do youtube...o que pode estar errado...
Amigo fiz conforme o passo a passo mais quando deixo habilitado no squid a funcao .youtube.com ele nao consegue abrir os videos do youtube...o que pode estar errado...
[9] Comentário enviado por celso annes em 16/01/2009 - 17:56h
Check parms esta me dando esse erro o que pode ser?
Check parms esta me dando esse erro o que pode ser?
[10] Comentário enviado por lucasmcarlos em 27/05/2009 - 16:08h
kra ... legal seu post ... porem aki em casa não deu muito certo não ... para fala bem a verdade não funcionou nada ....
qdo eu fiz todos os passos q vc pediu ...
mais qdo restartei o squid ... jah era não navegou mais ... ai fui lah no squid.conf #desativei as linhas , restartei voltou a navegar ...
então fica assim .. qdo coloca suas regras do squid.conf para rodar ... para a navegação, qdo tiro volta ao normal ... vc sabe oq pode estar acontecendo ...
obrigado
kra ... legal seu post ... porem aki em casa não deu muito certo não ... para fala bem a verdade não funcionou nada ....
qdo eu fiz todos os passos q vc pediu ...
mais qdo restartei o squid ... jah era não navegou mais ... ai fui lah no squid.conf #desativei as linhas , restartei voltou a navegar ...
então fica assim .. qdo coloca suas regras do squid.conf para rodar ... para a navegação, qdo tiro volta ao normal ... vc sabe oq pode estar acontecendo ...
obrigado
[11] Comentário enviado por csguerreiro em 17/09/2009 - 22:23h
Grande rodrigo, vc relatou que para usar o thunder cache no freebsd existem algumas alterações poderia então me ajudar descrevendo quais as alterações necessárias, pois uso freebsd, e achei que o squid trabalhou melhor fazendo cache do que o ubuntu, e queria implementar o thunder no freebsd 7.2,caso puder contribuir agradeço. comentário postar e caso puder envie um email cleiton@gnex.com.br. E claro, o funcionamento do thunder é muito bom mesmo.
Grande abraço,
Grande rodrigo, vc relatou que para usar o thunder cache no freebsd existem algumas alterações poderia então me ajudar descrevendo quais as alterações necessárias, pois uso freebsd, e achei que o squid trabalhou melhor fazendo cache do que o ubuntu, e queria implementar o thunder no freebsd 7.2,caso puder contribuir agradeço. comentário postar e caso puder envie um email cleiton@gnex.com.br. E claro, o funcionamento do thunder é muito bom mesmo.
Grande abraço,
[12] Comentário enviado por fabioholliday em 17/12/2012 - 17:43h
Me tire uma duvida, la onde tem "opções de redirecionamento, onde eu colco o conteúdo dentro do squid.conf ? pois fiquei nesta duvida...
Me tire uma duvida, la onde tem "opções de redirecionamento, onde eu colco o conteúdo dentro do squid.conf ? pois fiquei nesta duvida...
[13] Comentário enviado por evertoncl em 11/04/2013 - 21:38h
Alguém ai ainda esta utilizando ou pode me dizer se ainda funciona??
caso não esteja funcionando indicar uma outra solução
Alguém ai ainda esta utilizando ou pode me dizer se ainda funciona??
caso não esteja funcionando indicar uma outra solução
Patrocínio
Site hospedado pelo provedor RedeHost.
Destaques
Artigos
Compartilhando a tela do Computador no Celular via Deskreen
Como Configurar um Túnel SSH Reverso para Acessar Sua Máquina Local a Partir de uma Máquina Remota
Configuração para desligamento automatizado de Computadores em um Ambiente Comercial
Dicas
Efeito "livro" em arquivos PDF
Como resolver o erro no CUPS: Unable to get list of printer drivers
Flatpak: remover runtimes não usados e pacotes
Mudar o gerenciador de login (GDM para SDDM e vice-versa) - parte 2
Tópicos
Wifi não funciona no Aspire ES 15 com o Debian (9)
Como atualizar o Debian 8 para o 10 (10)
Dica sobre iptables ACCEPT e DROP (6)
NGNIX - Aplicar SNAT para evitar roteamento assimetrico (29)
Top 10 do mês
-
Xerxes
1° lugar - 65.741 pts -
Fábio Berbert de Paula
2° lugar - 49.103 pts -
Buckminster
3° lugar - 18.627 pts -
Mauricio Ferrari
4° lugar - 14.797 pts -
Alberto Federman Neto.
5° lugar - 13.580 pts -
Diego Mendes Rodrigues
6° lugar - 12.770 pts -
Daniel Lara Souza
7° lugar - 12.678 pts -
Alessandro de Oliveira Faria (A.K.A. CABELO)
8° lugar - 12.008 pts -
Andre (pinduvoz)
9° lugar - 10.813 pts -
edps
10° lugar - 10.437 pts
Scripts
[Python] Automação de scan de vulnerabilidades
[Python] Script para analise de superficie de ataque
[Shell Script] Novo script para redimensionar, rotacionar, converter e espelhar arquivos de imagem
[Shell Script] Iniciador de DOOM (DSDA-DOOM, Doom Retro ou Woof!)
[Shell Script] Script para adicionar bordas às imagens de uma pasta
A maior comunidade GNU/Linux da América Latina! Artigos, dicas, tutoriais, fórum, scripts e muito mais. Ideal para quem busca auto-ajuda.
Site hospedado por:
