Passaggio da IPB 2.1 a SimpleMachines

Started by aga21, April 17, 2013, 09:25:36 AM

Previous topic - Next topic

emanuele

Diciamo che dovrebbe rappresentare in maniera sommaria il numero di topic processati fino a quel momento.


Take a peek at what I'm doing! ;D




Hai bisogno di supporto in Italiano?

Aiutateci ad aiutarvi: spiegate bene il vostro problema: no, "non funziona" non è una spiegazione!!
1) Cosa fai,
2) cosa ti aspetti,
3) cosa ottieni.

aga21

Quote from: emanuele on April 18, 2013, 02:32:19 PM
Diciamo che dovrebbe rappresentare in maniera sommaria il numero di topic processati fino a quel momento.

Grazie. Considerato che ne ho un milione e ottanta ci vorranno almeno dieci ore...  :-\

Spero che non ci siano ulteriori errori dopo questa fase

emanuele



Take a peek at what I'm doing! ;D




Hai bisogno di supporto in Italiano?

Aiutateci ad aiutarvi: spiegate bene il vostro problema: no, "non funziona" non è una spiegazione!!
1) Cosa fai,
2) cosa ti aspetti,
3) cosa ottieni.

aga21

Ho frainteso: i post sono un milione circa, i topic sono 4000 circa; ma a questo punto

convert.php?step=1&substep=9&start=832600

non trovo corrispondenza

emanuele

Ahhh...ok.
Mi era venuto un colpo, rischiavi di rendere la più grande board che usa SMF di mia conoscenza una pagliuzza... lol

mmm...beh, ormai siamo quasi al milione, quindi vediamo...


Take a peek at what I'm doing! ;D




Hai bisogno di supporto in Italiano?

Aiutateci ad aiutarvi: spiegate bene il vostro problema: no, "non funziona" non è una spiegazione!!
1) Cosa fai,
2) cosa ti aspetti,
3) cosa ottieni.

aga21

Scollinato. Quando si fermerà?

convert.php?step=1&substep=9&start=1000800

emanuele

Bella domanda...sta sempre dicendo "converting topics" come ultima voce?


Take a peek at what I'm doing! ;D




Hai bisogno di supporto in Italiano?

Aiutateci ad aiutarvi: spiegate bene il vostro problema: no, "non funziona" non è una spiegazione!!
1) Cosa fai,
2) cosa ti aspetti,
3) cosa ottieni.

aga21

QuoteConverting...
Converting posts (this may take some time)...
Incomplete.
Not quite done yet!
This conversion has paused to avoid overloading your server, and hence not working properly.
Don't worry though, nothing's wrong - simply click the continue button below to start the converter from where it left off.

Il colmo sarebbe che dopo aver finito spunti qualche errore; il processo eventualmente ricomincia dall'inizio o si può fare un resume?

Se quel numero è legato ai post ne mancano ancora 400000 e a questa velocità ci vorranno ancora 3-4 ore  :'(

emanuele

Oh yups, sì allora son proprio i post messaggi!

Se ti può interessare, c'è una board per admin di forum con più di 500'000 messaggi.
Qualche info su Sphinx (ricerca) e credo come migliorare le performance in generale.


Take a peek at what I'm doing! ;D




Hai bisogno di supporto in Italiano?

Aiutateci ad aiutarvi: spiegate bene il vostro problema: no, "non funziona" non è una spiegazione!!
1) Cosa fai,
2) cosa ti aspetti,
3) cosa ottieni.

aga21

smf/convert.php?step=1&substep=9&start=1597200

:P ma quando finirà?

emanuele

*headscratch*

Fai una cosa, intanto che il converter gira, apri phpmyadmin in un'altra pagina del browser e cerca la tabella smf_members, quante righe ha al momento?


Take a peek at what I'm doing! ;D




Hai bisogno di supporto in Italiano?

Aiutateci ad aiutarvi: spiegate bene il vostro problema: no, "non funziona" non è una spiegazione!!
1) Cosa fai,
2) cosa ti aspetti,
3) cosa ottieni.

aga21

        smf_members   4,798   MyISAM   utf8_unicode_ci   1.8 MiB   
   smf_messages 1,639,000   MyISAM   utf8_unicode_ci   1.0 GiB   
   smf_topics 3,940   MyISAM   utf8_unicode_ci   659.8 KiB   

mentre in IPB

      ibf_members    4,818   MyISAM   latin1_general_ci   1.7 MiB   
      ibf_posts    2,048,715   MyISAM   latin1_general_ci   3.7 GiB   
      ibf_topics    3,947   MyISAM   latin1_general_ci

emanuele

Allora i post sono 2 milioni, non 1 e mezzo! ;D
Quindi devi arrivare a 2...


Take a peek at what I'm doing! ;D




Hai bisogno di supporto in Italiano?

Aiutateci ad aiutarvi: spiegate bene il vostro problema: no, "non funziona" non è una spiegazione!!
1) Cosa fai,
2) cosa ti aspetti,
3) cosa ottieni.

aga21

Spero proprio che non succeda nulla dopo aver importato i post! Ripeto, c'è possibilità di un resume o nel malaugurato caso che spunti qualche altro errore si ricomincia da capo?

emanuele

Nel malaugurato caso si può sempre togliere fisicamente dal file del converter ciò che è già stato fatto. ;)


Take a peek at what I'm doing! ;D




Hai bisogno di supporto in Italiano?

Aiutateci ad aiutarvi: spiegate bene il vostro problema: no, "non funziona" non è una spiegazione!!
1) Cosa fai,
2) cosa ti aspetti,
3) cosa ottieni.

aga21

Ho fatto qualche conto per ingannare il tempo:

lo script converte circa 800 post al minuto

ne rimangono 259915 che diviso 800 fa 324 minuti, quindi cinque ore e mezzo, in pratica per convertire tutto il forum ci starà un giorno, visto che ho cominciato ieri pomeriggio!  :P

emanuele

800 al minuto sembrano molto pochi...dovrebbe farne una media di almeno un 50/100 al secondo di media... ???

* emanuele va a controllare il file


Take a peek at what I'm doing! ;D




Hai bisogno di supporto in Italiano?

Aiutateci ad aiutarvi: spiegate bene il vostro problema: no, "non funziona" non è una spiegazione!!
1) Cosa fai,
2) cosa ti aspetti,
3) cosa ottieni.

aga21

Allego quello che sto usando dopo le modifiche di questo topic

emanuele

---* {$to_prefix}messages 200
Questo dice che dovrebbe processare 200 messaggi *alla volta*, oghi passaggio dovrebbe fare più blocchi, poi pausa di 3 secondi e riprendere.
Quindi, anche nel caso peggiore dovrebbe fare almeno 200 messaggi ogni 6/7 secondi, quindi un 2000 messaggi al minuto...però...però effettivamente questa è una query che rallenta ad ogni passaggio per il modo stesso in cui è costretta a processare i dati, si deve basare su LIMIT min, range, quindi in pratica tutte le volte deve: raccogliere ed ordinare tutti i dati secondo, quindi partire dall'inizio e contare riga per riga fino a quando non arriva al limite "min" e poi prendere le successive 200 righe...ovviamente, quando si arriva oltre milione ci vuole tempo per fare tutto. E' lo stesso limite strutturale contro cui ho cozzato tempo fa quando ho riscritto il codice per il backup del database, avevo provato ad introdurre qualche ottimizzazione, ma purtroppo non sono affidabili e rischierebbero di portare alla perdita di dati, quindi non si può proprio fare niente... :(


Take a peek at what I'm doing! ;D




Hai bisogno di supporto in Italiano?

Aiutateci ad aiutarvi: spiegate bene il vostro problema: no, "non funziona" non è una spiegazione!!
1) Cosa fai,
2) cosa ti aspetti,
3) cosa ottieni.

aga21

Beh l'importante è che funzioni! Eseguendo lo script in locale potrebbe migliorare la situazione?

Advertisement: