News:

Want to get involved in developing SMF, then why not lend a hand on our github!

Main Menu

Preopterećen server

Started by dan555, April 16, 2011, 09:23:43 PM

Previous topic - Next topic

dan555

Već drugi put dobijam obaveštenje od hosting provajdera da mi sajt troši previše resursa servera. Da imam veliki forum pa ajde ali moj je namenjen druženju male grupe korisnika i po svemu je mali.
Najviše unikatnih poseta imali smo pre par meseci - 16.000, imamo manje od 30 aktivnih članova koji dnevno napišu do tridesetak poruka.

Prvi put mi je provajder poslao ovo:
Daily resource usage user sftim:
datum / user / cpu% / mem%
02-16-2011 / sftim / 34 / 57
02-17-2011 / sftim / 35 / 71
02-18-2011 / sftim / 30 / 57
02-19-2011 / sftim / 35 / 62

Vas daily resource usage prevazilazi resource usage za shraed hosting, ali mi i dalje drzimo vas account i necemo ga suspendovati dok god ne utice na stabilan rad servera.


Gledao sam na cPanelu "Service Status" i uvek je sve bilo zeleno.

Početkom ovog meseca poslao mi je ovo (nije cela poruka ali valjda je dovoljno):
Postovani,
Vas hosting nalog pravi veliko opterecenje procesorske snage na serveru
Molimo Vas da proverite vase scripte i da ih optimizujete kako bi koristili manje procesorske snage


4913994
XXXXXXX       localhost       xxxxx_smf       Sleep   5               NULL
4914013
XXXXXXX       localhost       xxxxx_smf       Query   0
Locked  UPDATE smf_sessions SET data = 'rand_code|s:32:\"xxxxxxxxxxxxxxxxx\";ban|a:5:{s:12:
4914035
XXXXXXX       localhost       xxxxx_smf       Query   0
Locked  UPDATE smf_sessions SET data = 'rand_code|s:32:\"xxxxxxxxxxxxxxxxx\";ban|a:5:{s:12:
4914038
XXXXXXX       localhost       xxxxx_smf       Query   0
Locked  UPDATE smf_sessions SET data = 'rand_code|s:32:\"xxxxxxxxxxxxxxxxx\";ban|a:5:{s:12:
4914045
XXXXXXX       localhost       xxxxx_smf       Query   0
Locked  UPDATE smf_sessions SET data = 'rand_code|s:32:\"xxxxxxxxxxxxxxxxx\";ban|a:5:{s:12:
4914050
XXXXXXX       localhost       xxxxx_smf       Sleep   1               NULL

Pošto se ne razumem u ovo molio bih da mi neko kaže šta je u pitanju.
Čini mi se da do problema dolazi prilikom upisivanja sesije, ali šta ja tu mogu da uradim?

Pročitao sam i temu http://www.simplemachines.org/community/index.php?topic=293441.0 pa ću od toga nešto primeniti, ali nisam siguran da će pomoći.

Od modova imam instalirane ove:
FavIcon     1.1
Custom Profile Field Mod     3.16
SMF Media Gallery     2.0.5
Enhanced Forum Statistics     1.0
Display Age and Location next to posts     1.0
Ad Managment     2.3
Users Active in Last 24 Hours     1.0
SMF Archive     1.1
Enhanced Quick Reply Box 2.0     2.0
User Email System     1.2
Anti-Bot Registration Puzzles     1.2
SMF Gallery Lite     1.8
Board Notes     1.0.7
FontandSizeDropdown_1.2     1.2
Profile Comments     1.3.5
SMF Arcade     2.0.9
Count unread topics on index     1.1
Minimum number of posts to send PM     0.1
SMF Sitemap     1.2.1
Simple ImageShack     2.0.3
Spoiler Show And Hide     1.0.2
SMF Shoutbox     1.16
MessagePreviewOnHover     1.5

▓▒RapidBelgrade▒▓

za pocetak iskljuci kalendar....   

uradi optimizaciju tabela u bazi

chat dosta vuce da znas  pa probaj bez njega par dana



My working day begins with awakening drink coffee and then steal all day...

holodoc

#2
Ako bih morao da tipujem onako odokativno šta je uzrok za tako veliki prosečan dnevni load tipovao bih da je to verovatno MKPortal.

Portali i integratori koji se kaleme na forume (uključujući i SMF) imaju običaj da često rade dodatna osvežavanje sesija a to je ono što može lepo da se vidi iz priloženog MySQL loga. Da ne govorim o tome da je MKPortal projekt napušten odavno i da neki delovi njegovog koda više nisu aktuelni čak ni na SMF 1.1.13.

S druge strane ni broj modifikacija koje imaš instalirane nije zanemarljiv a svaka od njih doprinosi bar malo opterećenju. Chat (mada ovde bih rekao da je ipak shoutbox u pitanju) više utiče na protok nego na opterećenje procesora i memorije jer se upiti vrše asinhrono na svakih par sekundi što je ipak premalo zahteva da se postigne onoliki dnevni load.

Naravno razlog može da leži i u tome da hosting provajder koristi jednojezgarne servere sa 1GB DDR2 non-ECC memorije tako da u tom slučaju problem defintivno nije do MKPortal + SMF kombinacije :)

Moj predlog bi bio možda nešto radikalan ali opet više isplativ na duge staze. Naime ja bih ti preporučio da se polako orijentišeš na SMF 2.0 i da uradiš migraciju na kombinaciju TinyPortal + SMF 2.0. SMF 2.0 i TinyPortal imaju mnogo bolju optimizaciju rada sa bazama tako da ćeš već u startu imati znatno manje opterećenje.

Što se tiče modifikacija većina njih verovatno postoji i u RC5 verziji tako da ne bi trebalo da bude problema da ih ponovo instaliraš a čak i ako ne postoje sigurno ćeš naći zamenu.

Naravno migraciju bi bilo dobro raditi offline u recimo lokalu a ako nisi vičan ovim poslovima preporučio bih ti da nađeš nekoga ko jeste :)

holodoc

Zaboravih da kažem u prethodnom postu pa ću ovako u zasebnom da bih izbegao da ga OP ne pročita.

@dan555
Nemoj nikada na javnim forumima da postuješ sadržaj baze svojih foruma posebno izvode iz MySQL logova koji sadrže podatke o sesijama. Zašto ti to kažem? Zato što su ovo verovatno izvodi koji su načinjeni u skorije vreme a sva je verovatnoća da bar neko od tvojih korisnika koristi opciju za trajno logovanje pa je verovatno i da je neki od SID-ova koji se vide iz tvog MySQL loga još uvek validan.

Sigurnosti radi obriši sve sesione hash-ove iz MySQL loga koji si postovao (podatke tipa "7d7ed10a58fab07b31dd5060affeed40" i sl.)

dan555

Hvala na savetima, obrisao sam sesije.

SMF 2 mi se još ne koristi, barem dok ne izađe stabilna verzija.

MKPortal jeste ugašen, pun rupa i nije baš sjajno napisan, ali rupe sam "zatrpao" i ponešto doterao pa mi vrši posao. Pogledaću šta ima TP ali ako već moram da menjam radije ću uzeti Vordpres. Da li će Vordpres biti bolji za opterećenje servera?

Bazu su sam nedavno optimizovao pa to ne bi trebalo da je u pitanju.
Kalendar mi treba al' šta je tu je...

Četova imam dva. ParaChat koji ima svoj server i IRC na portalu koji takođe ima svoj server. Ne znam kako oni opterećuju server mog hosta.

Shoutbox uključi osvežavanje samo kada član nešto upiše a to je baš retko.

Od modifikacija znam da neke umeju da opterete server (recimo, Count unread topics on index) ali to dođe do izražaja samo na velikim forumima.

Ima li načina da vidim konfiguraciju servera, procesor i sl?

holodoc

SMF 2.0 RC5 je poprilično stabilan i pored činjenice da nije još uvek zvanično objavljen :) Jedini problem može da nastane oko modifikacija zbog toga što ih neki autori još uvek nisu prilagodili za SMF 2.0 RC5 tj. nisu u potpunosti testirani.

Što se tiče izbora softvera za tvoj portal po meni nema razloga zbog čega ne bi razmišljao o SMF 2.0 RC5 jer kao što i sam možeš da vidiš u Bugtrackeru postoji veoma mali broj problema koji još uvek treba da se reše a koji ne utiču previše na funkcionalnost foruma.

Što se udarne aplikacije tiče po meni možeš da biraš između TinyPortal-a i Wordpress-a stim što ako ti je potreban baš čvrsta integracija između portala i foruma onda je verovatno TinyPortal bolje rešenje (pominješ kalendar itd.) Wordpress takođe može da se dobro prilagodi potrebama ali treba da uzmeš u obzir prvobitnu namenu Wordpressa, aplikacija koja je pre svega orijentisana na blogovanje (i pored svojih mogućnosti) i situacije kada se ne očekuje prevelika aktivnost posetilaca. Međutim i Wordpress može da se poprilično integriše sa Wordpressom zahvaljujući njegovom SSI sistemu (http://www.simplemachines.org/community/ssi_examples.php)

▓▒RapidBelgrade▒▓

sve je to lepo ali ja mislim da njemu sve normalno radi samo ga hoster zajebava da mu uzme vise para.....

to su cigani koji kad vide da forum raste odma pocinju da salju upozorenja nebili izmamili vise para..... 

predji kod nekog ozbiljijeg i bice sve OK 



My working day begins with awakening drink coffee and then steal all day...

Dzonny

U pravu ste vi, ali i ja bih se složio sa Rapidom, vidi prvo kakve su ti performanse servera, i prati šta ti se dešava na forumu, load, cpu, procese, i zaključi sam da li stvarno praviš preveliko opterećenje.

holodoc

Quote from: Dzonny on April 17, 2011, 06:31:01 PM
U pravu ste vi, ali i ja bih se složio sa Rapidom, vidi prvo kakve su ti performanse servera, i prati šta ti se dešava na forumu, load, cpu, procese, i zaključi sam da li stvarno praviš preveliko opterećenje.

Problem je u tome što ni na jednom shared hostingu bez root naloga servera ne može da se proveri opterećenje servera jer je, kao prvo, većina shared hosting mašina chroot-ovana pa je dozvoljen pristup samo osnovnim komandama operativnog sistema a kao drugo web aplikacije ne mogu da pristupe tim komandama jer server radi pod neprivilegovanim korisnikom (apache, nobody, www).

Takođe, cPanel u shared hosting režimu prikazuje opterećenje kompletne mašine a ne opterećenje koje dolazi od jednog korisnika tako da ni taj podatak nije previše od koristi. U prevodu na shared hosting nalozima praktično ne postoji način da običan korisnik proveri koliko stvarno opterećuje mašinu pa sve ostaje na tome da hosting provajder drži do poslovne etike.

@RapidBelgrade

Prosečni dnevni load iz one statistike koju je dobio na mail je poprilično visoka za jedan nalog. Jedino da je i taj rezultat falsifikovao ali onda se sa takvim ljudima ne vredi ni upuštati u bilo kakav posao.

Groovy™

@OFF

Sreca ja sam ,na  na celom serveru sam ;D ...sa 16 procesora ...da li je dovoljno 16 procesora ,ako budu natrpali jos dosta sajtova ?


holodoc

Quote from: Groovy™ on April 17, 2011, 08:10:29 PM
@OFF

Sreca ja sam ,na  na celom serveru sam ;D ...sa 16 procesora ...da li je dovoljno 16 procesora ,ako budu natrpali jos dosta sajtova ?



Koji to server ima 16 procesora a dostupan je običnim smrtnicima?

Groovy™


holodoc

Quote from: Groovy™ on April 17, 2011, 08:26:17 PM
O ovome se radi ...



To nije 16 pravih već 16 virtuelnih procesora što znači da mašina na kojoj su uzeti ti podaci ima dva četvorojezgarna procesora koja rade u HyperThreadingu.

U prevodu 2 procesora * 4 jezgra * 2 (zbog HyperThreadinga) = 16 virtuelnih jezgara. Verovatno je u pitanju neki dualni Xeon ali ako je VPS u pitanju to ne znači skoro apsolutno ništa po krajnjeg korisnika jer se podaci sa host mašine kod virtuelizacije prenose na sve guest mašine (sve guest mašine vide 16 "cpu"-a) a performanse tog jednog procesora se i dalje međusobno dele :)

Dedicated serveri su druga priča jer je u tom slučaju kompletan procesor na raspolaganju jednoj (host) mašini.

▓▒RapidBelgrade▒▓

sarver load    1.02   a 16 cpu    xaxaxaxaxaxaxaxaxx

pa znas li kolko bi jak saj morao imati da na 16 cpu vuce 1.02   LOL   

kako je lako ljudima prodati zvaku



My working day begins with awakening drink coffee and then steal all day...

holodoc

Quote from: RapidBelgrade™ on April 17, 2011, 09:36:14 PM
sarver load    1.02   a 16 cpu    xaxaxaxaxaxaxaxaxx

pa znas li kolko bi jak saj morao imati da na 16 cpu vuce 1.02   LOL   

kako je lako ljudima prodati zvaku

Server load se računa relativno u odnosu na broj raspoloživih jezgara / procesora tako da bi u slučaju 16 jezgara server load od 1.02 značio da je opterećenje procesora 6% što i nije baš toliko mnogo zar ne? :)

▓▒RapidBelgrade▒▓

#15
ocigledno imas neko znanje ali nemas izgleda nikakvog iskustva sa serverima pa zato tako kazez.....

al nema veze   ko ima vece forume i koristi vps ili dedi servere zna o cemu pricam i da vec kod 2 ili 3 server load ide u crveno  i to sa 2 ili 4 CPU....    a sa 16 (da su pravi proc) ne bi ni veliki forum presao ni 0.2

ja imam dedi server i preko 10.000 poseta dnevno pa jedva imam 0.5 (4 cpus)






My working day begins with awakening drink coffee and then steal all day...

Spale

#16
Quote from: holodoc on April 17, 2011, 09:50:28 PMServer load se računa relativno u odnosu na broj raspoloživih jezgara / procesora tako da bi u slučaju 16 jezgara server load od 1.02 značio da je opterećenje procesora 6% što i nije baš toliko mnogo zar ne?

Sve zavisi za koliko naloga je podešeno VPS okruženje, tj. koliko VPS-ova je predviđeno da radi na toj mašini. Što je više VPS-ova, to se smanjuje procenat zauzetosti procesora koji 1 VPS sme da zauzme pre nego utera status u crveno - Sasvim logično.  ;)

Quote from: RapidBelgrade™ on April 18, 2011, 03:21:48 AM
a sa 16 (da su pravi proc) ne bi ni veliki forum presao ni 0.2

To što si napisao može da važi samo za dedicated server, za VPS kao što sam napisao iznad, zavisi koliko VPS-ova radi na toj jednoj mašini. Ako ja mašina overeselovana uvek si u crvenom, tu ne pomaže ništa do promene hosta.

@dan555 - kod kog hosting provajdera ti je forum? Možda neko već ima iskustva sa njima.
"Failure is only the opportunity to begin again more intelligently." - Henry Ford

Groovy™

Ocete da kazete da je moj hosting lud ,sto je postavio 16 cpu-a ... ;D

Dozwoljen je warez ,nulled skripts i ostalo da se upload na server /host...tako da opterecenje uvek moze da bude...

dan555

Kod domaćeg sam (pod)provajdera www.makehosting.com.

I dalje mi nije jasno kako mali sajt može opteretiti server. Kako god da je napisan skript, osim ako nema neku baš veliku grešku (što sa SMFom nije slučaj), ne znam kako bi mogao da jede resurse.
Portal je mnogo manje posećen od foruma, oko deset puta manje pregleda.

Početne foruma i portala prave oko 20 upita a strane za forume i teme oko 30.

Evo iz statistike sajta, pa recite da li je ovo preveliko za šerd-host:

Month   Unique visitors   Number of visits   Pages   Hits   Bandwidth
Jan 2011   15948   24671   321990   1062825   18.25 GB
Feb 2011   16076   23788   203987   956224   9.74 GB
Mar 2011   15292   22778   209065   1028698   11.64 GB

Ovome treba dodati i botove ali oni prave prilično manje prometa od korisnika.

Možda i ovo pomogne.


Instalirao sam u lokalu TinyPortal i povećao mi je broj upita za 10. Uz to, ima svega par funkcija CMSa tako da mi ne vrši posao. :(


OT, tek juče videh da je Holodoca kolega treki sa PhT sajta. :D
Taj sajt je na istom serveru kao SF tim. Kad moj sajt nije dostupan nije ni PhT.

holodoc

Quote from: dan555 on April 18, 2011, 10:07:51 AMOT, tek juče videh da je Holodoca kolega treki sa PhT sajta. :D
Taj sajt je na istom serveru kao SF tim. Kad moj sajt nije dostupan nije ni PhT.

"Please state the nature of the medical emergency"? :) Da na PhT-u sam nešto aktivniju u poslednje vreme mada ekipu poznajem još iz doba SetNET-a :)

Pošto sam sad u velikoj gužvi sa poslom kasnije ću se malo pozabaviti sa ovim tvojim postom. Par stvari mi na ovoj tvojoj slici nije baš najjasnije, najviše u vezi zauzeća mount pointova.

Advertisement: