Temat: Ubuntu +most+squid - bardzo muli

Witam serdecznie
Postanowiłem postawić w sieci serwer proxy - taki transparentny, na samodzielnej maszynie między switchem a ruterem.
Niby wszystko okej - po pierwszej konfiguracji squid dział dość szybko - więc wyłączyłem komputer i poszedłem do domu. Następnego dnia masakra - strony wczytują się po około minucie. Wyczyściłem i przebudowałem cache ale bez skutku. Podejrzewam, że coś namieszałem w iptables - jeżeli ktoś mógłby mi coś podpowiedzieć - poniżej to co zrobiłem:
Po pierwsze konfiguracja mostu w network/interfaces:
auto lo
iface lo inet loopback
auto eth1
iface eth1 inet static
address 192.168.10.164
netmask 255.255.255.0
network 192.168.10.0
broadcast 192.168.10.255

auto br0
iface br0 inet static
address 192.168.10.163
netmask 255.255.255.0
network 192.168.10.0
broadcast 192.168.10.255
gateway 192.168.10.1
bridge-ports eth0 eth1

Później do rc.local dodałem reguły:
route add default gw 192.168.10.1 dev br0
ebtables -t broute -A BROUTING -p IPv4 --ip-protocol 6 --ip-destination-port 80 -j redirect --redirect-target ACCEPT
iptables -t nat -A PREROUTING -i br0 -p tcp --dport 80 -j REDIRECT --to-port 3128

Następnie odchaszowałem dwie linie w sysctl.conf:
net.ipv4.ip_forward=1
net.ipv6.conf.all.forwarding=1

Następnie podstawowy konfig squida:

acl localnet src 192.168.10.0/24 # Your network here

acl SSL_ports port 443
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 # https
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl block_www url_regex "/etc/squid3/block_http://acl"
acl CONNECT method CONNECT

http_access allow manager localhost
http_access deny manager
http_access deny !Safe_ports
http_access deny block_www
http_access allow localnet
http_access deny to_localhost
icp_access deny all
htcp_access deny all

http_port 3129
http_port 3128 intercept
hierarchy_stoplist cgi-bin ?
access_log /var/log/squid3/access.log squid

#Suggested default:
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern -i (/cgi-bin/|\?) 0 0% 0
refresh_pattern . 0 20% 4320
# Leave coredumps in the first cache dir
coredump_dir /var/spool/squid3

#acl whitelist dstdomain "/etc/squid3/whitelist.txt"

# Allow localnet machines to whitelisted sites
#http_access allow localnet whitelist

# block all other access
http_access deny all
cache_dir ufs /mnt/proxy_cache 100000 16 256
store_avg_object_size 10 MB

cache_mem 1 GB
maximum_object_size 10 MB

No i restart serwera:
W obecnej chwili serwer się uruchamia, squid nic nie loguje - dopiero jak z palca dodam regułe iptables któa przekierowuje ruch na port 3128 to zaczyna działać, ale cholernie muli....
Dodam jeszcze, że zaczęło się to dziać po próbie skonfigurowania dansguardiana - jednak teraz DansGuardian jest zatrzymany i kurcze nawet czyściłem iptables... bez skutku.
Proszę o pomoc :-)
Pozdrawiam serdecznie

Temat: Ubuntu +most+squid - bardzo muli

Spróbuj ręcznie ustawić proxy w przeglądarce bezpośrednio. Moim zdaniem troszkę za mało RAM-u, jaki procesor i jak podłączone masz dyski w tej maszynie. Szybie dyski w RAID dobry procek dużo.... RAM-u to przepis na squida :-). No i najważniejsze pytanie ilu użytkowników ma to obsłużyć ?Ten post został edytowany przez Autora dnia 15.07.14 o godzinie 21:55

Temat: Ubuntu +most+squid - bardzo muli

Witam serdecznie
Procesor to intel i3 4 GB ramu - dysk systemowy 160 GB a dysk na cache to 500GB - myślę że dla 50 userów powinno wystarczyć... tym bardziej że to działało super przez 1 dzień :-) a później nagle kiszka i teraz sam już nie wiem gdzie jest coś nie tak ...
Pozdrawiam

Temat: Ubuntu +most+squid - bardzo muli

Do czego ma służyć to proxy filtrowanie ? przyspieszenie ?, większość stron ładowana jest dynamicznie i nie trafia do cache. Trzeba trochę pokombinować aby trafiało no i do tego właściwa polityka z QOS i ZPH przy obecnych łączach nie wiem czy to ma sens:-)
Ja bym dał:

# Memory

cache_mem 3072 MB

minimum_object_size 0 bytes

maximum_object_size 10 MB

maximum_object_size_in_memory 32 KB

memory_pools off

parametr ze średnim obiektem w pamięci, oraz przy maksymalnym cache 20-50GB dla dysku przy 10MB bo będzie miał co szukać na dysku.
+ polityka zastąpienia obiektów

store_dir_select_algorithm round-robin

memory_replacement_policy heap GDSF

cache_replacement_policy heap GDSF

Przyjrzyj się dedykowanemu rozwiązaniu z squidem np. Thunder cacheTen post został edytowany przez Autora dnia 15.07.14 o godzinie 22:39

Temat: Ubuntu +most+squid - bardzo muli

Głównie chciałem wiedzieć co generuje ruch i w ramach polityki bezpieczeństwa zabronić to i owo....Webproxy na mikrotiku który mam nie spełnia oczekiwań więc zacząłem interesować się squidem i poniekąd dansguardianem - jednak najpierw muszę "okiełznać" squida :-)
Wielkie dzięki - jutro zmienię konfigurację i zobaczę jak to będzie działać.

Temat: Ubuntu +most+squid - bardzo muli

Marian P.:
Witam serdecznie
Procesor to intel i3 4 GB ramu - dysk systemowy 160 GB a dysk na cache to 500GB - myślę że dla 50 userów powinno wystarczyć... tym bardziej że to działało super przez 1 dzień :-) a później nagle kiszka i teraz sam już nie wiem gdzie jest coś nie tak ...

Twoim problemem nie jest squid, a sprzet. Procesor slabawy, malo RAM i pojedynczy dysk na cache.

Squid x64 alokuje 14MB per GB cache_dir wiec, jesli masz 100GB, na dziendobry zaalokuje 1.4GB. Do tego dochodzi 88 bajtow w RAM dla kazdego obiektu na dysku. Limit dla cache_mem nie jest sztywny. Dokladniej jest to opisane pod http://wiki.squid-cache.org/SquidFaq/SquidMemory

Liczba uzytkownikow ma posrednie znaczenie - liczy sie to jaki generuja ruch, i ile z tego ruchu trafia do RAM, a ile laduje od razu na dysku ze wzledu na rozmiar badz mala popularnosc.

Uzywanie proxy jako cache w dzisiejszych czasach troche mija sie z celem. Wiekszosc duzych serwisow uzywa tzw. "cache busting" generujac inny URI do tego samego zasobu przy kazdym wywolaniu. Nawet dla zasobow w miare statycznych, typu CSS, JS itd. Walka z wiatrakami.

Jesli chcesz glownie uzyc squida do filtrowania niepozadanego ruchu, wlacz logowanie, wylacz cache, zainstaluj squidguard i ustaw ACL porzadnie.

p.s.: Swego czasu zbudowalem instalacje obslugujaca blisko 30k userow z 12 serwerow (SCSI RAID na dyskach 15kRPM, 16GB RAM, jakis-tam Xeon * 2) - 2 instancje squida na serwer + ICP. Przy tuningu do granic mozliwosci sprzetu i oprogramowania bylo to w stanie obsluzyc moze z kilkaset zapytan/s per instancja - dyski wiecej nie uciagnely. Dziennie ~2TB ruchu bylo serwowane wylacznie z cache.

Temat: Ubuntu +most+squid - bardzo muli

No to maskara :-) W takim razie wyłączę cache i zobaczę jak to będzie działać - jeżeli rzeczywiście okaże się że się to sprawdza, to skonfiguruje dansguardian w celu filtrowania zawartości stron.
Pozdrawiam serdecznie i dziękuję za odpowiedź - jednak zastanawia mnie fakt, że tuż po instalacji wszystko działało znakomicie... :-)
PoZdr.

Temat: Ubuntu +most+squid - bardzo muli

zastanawia mnie fakt, że tuż po instalacji wszystko działało

Cache byl pusty, RAM pusty - squid powoli zapelnial oba miejsca, zaczal dzialac algorytm migrujacy obiekty dysk <-> RAM... i z czasem I/O zrobilo swoje. Teoria dosc prosta do zweryfikowania.