How i can convert a mixed collation database to UTF-8 ?

[Yngwiedis]

All went smooth to the second forum conversion.
I just need a good UTF8 editor

[Sarge]

I can recommend Notepad++. There's an option from the Format menu to encode in UTF-8 without BOM.

[Yngwiedis]

I am struggling with Notepad++ for over an hour now...
I change the encoding from the Format option to UTF-8 Without BOM.
Then i go to Save As and i save the files, but all the files i save, are again in ANSI format.
What i am doing wrong ?

[Yngwiedis]

I convert the files with BabelPad. I am ok now.
Second forum conversion is finished

[Sarge]

Is there any fast way to convert all the tables collation at once ?

Do you still need info about this? Were table collations converted automatically in the second forum?

I could write a script that converts the collation of all SMF tables.

[agridoc]

I could write a script that converts the collation of all SMF tables.

That would be quite useful for future use Sarge.

Yngwiedis had first reported the mixed field collation problem in the Greek support board. After explanations I answered that a script  would be needed to do a proper conversion and I suggested referring in English support board, as I couldn' t write it. Fortunately with your help the problem is solved. 

[Yngwiedis]

Is there any fast way to convert all the tables collation at once ?

Do you still need info about this? Were table collations converted automatically in the second forum?

I could write a script that converts the collation of all SMF tables.

Yes i am still need that info.
The table collations of the second forum are not converted automatically again.

One script like this will  be awesome

[Yngwiedis]

New problem after the conversion...
Verification images on registration are not showing in greek-utf8 language.
Only in english...

[agridoc]

Check all greek-utf8 language files for BOM.

[Sarge]

Check all greek-utf8 language files for BOM.

Yes. Also check that nothing (mod strings etc.) is present in the language files before the opening <?php tag and after the last ?> tag.

[Yngwiedis]

The problem solved one more time by checking all the greek-utf8 files.
I remove the BOM from some files that have it and all is ok now

I am waiting for the awesome script Sarge 

[Sarge]

I am waiting for the awesome script Sarge 

First of all, backup your database! I can't stress this enough.

Find the script attached. Upload it to your forum directory (where SSI.php is located) and run it from your browser.

The script is very crude: all you will see on the screen is a confirmation message when it's done. Also, the only thing that this script does is switch character sets of the SMF tables in the database to utf8 and collations to ut8_general_ci. No data conversions are done and nothing else is modified.

Important!
1) Since it uses SMF code, this script is released under the Simple Machines License.
2) The script is slow. There's built-in protection against timeouts, but if it stops for some reason, simply run it again until the confirmation message is displayed. You should check in phpMyAdmin to be sure that all collations are set as utf8_general_ci.

[Yngwiedis]

I run the script on 2 of my forums. Is working nice and smoothly.

Good job Sarge. Thank you very very very very much 

[Sarge]

You're welcome! Let us know if the third forum gets converted well too.

[Yngwiedis]

My third forum is also converted to UTF8 without any problem

[Yngwiedis]

Tell me something Sarge...

Because i found more "half messages" on my main forum, what is the best work i have to do ?
I found an older backup of the database. I will export the smf_messages table from that database with what export type ?
UPDATE, REPLACE or INSERT ? And then i will import it in the live database ?

[Sarge]

Because i found more "half messages" on my main forum, what is the best work i have to do ?

Can you explain a bit more? Compare a "half message" with the original in the backup. Where are the messages cut off? At a Greek character or some other symbol?

How big are those messages?

[Yngwiedis]

OK i will show you some messages...

"Half Message"

Code Select Expand

[size=12pt][b]ΕΙΣΑΓΩΓΗ[/b][/size]<br /><br />Ανοιγετε το SpeedSim και το γυριζετε στα αγγλικα...αν δεν γνωριζετε πως να το κανετε αυτο διαβαστε την επομενη παραγραφο...<br /><br />[b]-ΠΩΣ ΝΑ



"Original Message" before the conversion:

Code Select Expand

[size=12pt][b]ΕΙΣΑΓΩΓΗ[/b][/size]<br /><br />Ανοιγετε το SpeedSim και το γυριζετε στα αγγλικα...αν δεν γνωριζετε πως να το κανετε αυτο διαβαστε την επομενη παραγραφο...<br /><br />[b]-ΠΩΣ ΝΑ ΒΑΛΕΤΕ ΑΓΓΛΙΚΑ ΣΤΟ SPEEDSIM[/b]<br />αρχικα νομιζω ειναι στα γερμανικα.... <br />1os τροπος ...επιλεγετε απο το μενου language to english... θα γυρισει την γλωσσα στα αγγλικα...κλειστε το και ξανανοιξτε το..<br />2os τροπος ...πιεζετε το κουμπι choose language...επιλεγετε το αρχειο eng_lang_v0.9.3.1b.ini<br />αλλαζετε την γλωσα στα αγγλικα για να καταλαβαινουμε τι μας γινεται....<br />κλεινετε και ξανανοιγετε το Speedsim...<br /><br />[b]-ΑΡΧΙΚΕΣ ΡΥΘΜΙΣΕΙΣ[/b]<br /><br />πρωτα πατε στην επιλογη file -&gt; extended options -&gt; misc και επιλεγετε τον τυπο των πλοιων με τα οποια θα πατε για να μεταφερετε τα resources του οχτρου... στην αρχη βαζετε SC, επειτα το αλλαζετε σε LC, και οταν περασετε τους 10000 ποντους μπορειτε να το βαλετε σε BS... εχουν αρκετο χωρο, αληθεια!!!<br /><br />τσεκαρετε την επιλογη Supervise Clipboard... με αυτο τον τροπο δεν θα χρειαζετε να περνατε τα στοιχεια με το χερι...οπως εκανα εγω στην αρχη :blush:<br /><br />περαστε τις τεχνολογιες που διαθετετε πανω δεξια στην περιοχη technologies... επιλεξτε file-&gt;save technologies...<br /><br />στην θεση που λεει own position βαζετε την θεση απο την οποια επιτιθεστε συνηθως... στη συνεχεια μπορειτε να βαλετε κι αλλες θεσεις αν θελετε.... σημαντικο για τον υπολογισμο καυσιμων και χρονου...<br /><br />[size=12pt][b]ΜΕΡΟΣ 1ο[/b][/size]<br /><br />ξεκιναω με το espionage report ενος προσφιλους μου προσωπου... :tongue3: στη θεση του βαλτε καποιον αγαπημενο σας αντιπαλο :laugh:<br /><br />[quote]Resources on YPC [3:284:5] at 10-06 23:37:06<br />Metal: 90010&nbsp; Crystal: 202076<br />Deuterium: 161318&nbsp; Energy: 3006<br />Fleets<br />Small Cargo Ship 7&nbsp; Large Cargo Ship 10<br />Heavy Fighter 13&nbsp; Recycler 17<br />Espionage Probe 11<br />Defence<br />Small Laser 152 Heavy Laser 6<br />Gauss Cannon 5 Ion Cannon 2<br />Buildings<br />Metal Mine 19 Crystal Mine 15<br />Deuterium Synthesizer 15 Solar Plant 19<br />Fusion Plant 7 Robotic Factory 6<br />Shipyard 7 Metal Storage 2<br />Crystal Storage 3 Deuterium Tank 2<br />Research Lab 5 Rocket Silo 3<br />Research<br />Weapon Technology 10 Shielding Technology 7<br />Armour Technology 7[/quote]<br /><br />το μαρκαρετε και το κανετε copy me ctrl+c <br /><br />παρατηρηστε οτι οι αμυνες και ο στολος του αντιπαλου σας εχουν ηδη περασει στη λιστα Defender...<br /><br />στην θεση technologies-defender θα περασουν και οι τεχνολογιες του, αν εχετε πληρες σκαναρισμα του...<br />αν δεν εχετε, θα επρεπε να ειχατε, αλλα τεσπα... μαρκαρετε το κουτακι που λεει set techs of attacker to 0....<br />θα εξαφανισει προσωρινα τις δικες σας τεχνολογιες, για να μην αλλοιωσει τα αποτελεσματα της μαχης....<br /><br />[size=12pt][b]ΜΕΡΟΣ 2ο (εδω το καλο!!)[/b][/size]<br /><br />περνατε τα πλοια με τα οποια σχεδιαζετε να επιτεθειτε, στην πρωτη καθετη στηλη αριστερα με τιτλο attacker... προσοχη βαλτε πλοια που εχετε και οχι αυτα που θα θελατε να εχετε ;) αυτο ειναι για παρακατω...<br /><br />πιεζετε απαλα το κομβιον που λεει [color=Green]begin simulation[/color]... <br /><br />1h φορα...βλεπετε τι βγαζει στο πεδιο Losses attacker...<br />2h φορα...βλεπετε τι βγαζει στο πεδιο Losses attacker...<br />3h φορα...βλεπετε τι βγαζει στο πεδιο Losses attacker...<br />4h φορα...βλεπετε τι βγαζει στο πεδιο Losses attacker...<br /><br />οι επαναληψεις εχουν νοημα γιατι αλλαζει ελαφρα ο υπολογισμος :stunned:<br /><br />τωρα εχετε μια πρωτη εκτιμηση για το τι θα γινει αν πατε μεχρι εκει.... αν σας ικανοποιει ριξτε του στα αυτια!!!!<br /><br />αν το αποτελεσμα δεν σας ικανοποιει, μην βιαστειτε να σπασετε το PC... σκεφτειτε τι θα χρειαζοσασταν για να του την πεσετε χωρις απωλειες... σε καθε επιπεδο που βρισκεστε μπορειτε να προσπαθησετε να φτιαξετε τα πλοια που σας χρειαζονται ωστε να τον νικησετε... ετσι θα βελτιωσετε σημαντικα τον στολο σας κανοντας συνεχεις προσομειωσεις μαχων...<br /><br />προσθεστε μερικα LF αν ειστε νεος :baby:, εγω τουλαχιστον αυτο εκανα... επειτα προσθεστε μερικα HF, οταν θα μπορειτε να τα φτιαξετε... αργοτερα προσθεστε μερικα BS.... και τελος βαλτε και 2-3 DeathStar απο την αποθηκη....δεν ειναι κακο να ονειρευεται κανεις!!! αν φτασετε στο επιπεδο να προσθεσετε BS που δεν τα εχετε, τοτε μαλλον δεν χρειαζεται πλεον να διαβαζετε αυτο το how-to!! ;)<br /><br />[b]-ΑΝΑΛΥΣΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ ΜΑΧΗΣ[/b]<br /><br />στο πεδιο result σας δινει το αποτελεσμα της μαχης... ειναι ποσοστο γιατι κανει 100 επαναληψεις για να το βγαλει... δεν εχω παει ποτε σε κανενα, αν δεν εχω παρει Attacker wins 100%&nbsp; ;)<br /><br />στο πεδιο Debris field σας βγαζει μια εκτιμηση για το ποσα recyclers θα χρειαστειτε για να μαζεψετε τα σκουπιδια που δημιουργησατε... μην λερωνουμε κιολας...προσεξτε το ειναι σημαντικο για το fleetcrashing, μην ξεχασετε να προσθεσετε κι αυτα στο κερδος και θα εχετε μια αλλη εικονα ;)<br /><br />στο πεδιο Moonchance σας δινει τις πιθανοτητες να δημιουργηθει φεγγαρι στο πεδιο της μαχης... αχ..ελπιζω καποτε να εχω κι εγω ενα δικο μου φεγγαρι :laugh: :laugh:<br /><br />τα πεδια Losses Attacker, losses Defender ειναι οι απωλειες της μαχης απο καθε πλευρα... μην ξεχνατε μπορει να χρειαστει καποια στιγμη να υπολογισετε και ως αμυνομενος....<br /><br />στο πεδιο theoretic plunder σας δειχνει τι θα παιρνατε κατα μεγιστο... αναλογα με τον αριθμο των LC που στελνετε...<br /><br />στο πεδιο real plunder σας δειχνει τι θα παρετε στην πραγματικοτητα.... οχι μη φοβαστε δεν θα ειναι το μακρυτερο :laugh: :laugh: στο χερι σας ειναι τα παντα... <br /><br />στο πεδιο needed fuel βγαζει τα καυσιμα που θα χρειαστειτε για την βολτα σας...<br /><br />στο πεδιο flight times σας βγαζει τον χρονο που θελετε για να πατε εκει... υπολογιστε και τον χρονο επιστροφης, και θα εχετε το χρημα στην πορτα σας :thumbsup:<br /><br />[b]-ΛΟΙΠΕΣ ΛΕΙΤΟΥΡΓΙΕΣ[/b]<br /><br />Απανω αριστερα στο μενου εχει την επιλογη fleet -&gt; save fleet kai load fleet... με αυτα μπορειτε να σωσετε τις πληροφοριες για τον δικο σας στολο και για ορισμενους αλλους που ισως εχετε βαλει στο ματι.... την επομενη φορα που θα ανοιξετε το προγραμμα θα φορτωσετε τα στοιχεια του στολου σας για να μην κουραζεστε...<br /><br />τελειωνω εδω με το κουμπι [color=Green]Show B/W case[/color]... σε αντιθεση με οτι πιστευα στην αρχη δεν σου προτεινει να στα δειξει ολα ασπρομαυρα :wideeyed: αλλα κανει μια πολυ καλη αναλυση για το αποτελεσμα μιας αμφιλεγομενης μαχης... ετσι λοιπον αν παιρνετε καθε φορα μια διαφορετικη εκτιμηση πατωντας το κουμπι [color=Green]Begin Simulation[/color], πατηστε το B/W, αλλα προσοχη... ανοιγει σε ενα ηδη ανοιχτο παραθυρο του firefox, και μπορει να σας καλυψει το tab του παιχνιδιου. :thumbsdown: δωστε του το δικο του χωρο και ειναι ΟΚ...<br /><br />κατω απο τα στοιχεια των στολων βρισκεται το κομβιον που λεει [color=Green]prepare next wave[/color]... οταν θελετε να στραγγιξετε εναν αντιπαλο, και αφου υπολογισετε την πρωτη σας επιθεση οπως ειπαμε παραπανω... το πιεζετε... <br />αυτο σας αφαιρει τις αμυνες του αντιπαλου που θα καταστραφουν πραγματικα και τα πλοια του, υπολογιζει και αφαιρει τι πηρατε απο την πρωτη επθεση, και πλεον εισαστε ετοιμοι να βαλετε τα πλοια του δευτερου κυματος που θα στειλετε.... <br />αξιζει ισως τον κοπο αν ο αντιπαλος εχει 100k+ resources , να κανετε και μια δευτερη επισκεψη.... εσεις θα κρινετε, θυμηθειτε μονο οτι δεν επιτρεπονται απο το παιχνιδι περισσοτερες απο 3 επιθεσεις... ;) σε ενα 24ωρο.<br />



Another "Half Message":

Code Select Expand

Επειδη εβλεπα την γινοταν ζηλεψα και ειπα να δοκιμασω νεες τακτικες,&nbsp; :annoyed: τι τα εφτιαχνα τα σιλο?? ???<br /><br />[size=11][CENTER]<br />[font=verdana]Επιτιθέμενος [B][color=#CCFFCC] Vassilis [/color][/B](X:XXX:XX)<br />Όπλα: [B]90[/B]% Ασπίδες: [B]90[/B]% Θωράκιση: [B]90[/B]%<br />[/font][font=courier new][U][color=#1F273C][color=#00FFFF]Καταδιωκτικό[/color][/color] [color=#1F273C][color=#FFCC00]Καταδρομικό[/color][/color] [color=#1F273C][color=#00FF99]

"Original Message" before the conversion:

Code Select Expand

Επειδη εβλεπα την γινοταν ζηλεψα και ειπα να δοκιμασω νεες τακτικες,&nbsp; :annoyed: τι τα εφτιαχνα τα σιλο?? ???<br /><br />[size=11][CENTER]<br />[font=verdana]Επιτιθέμενος [B][color=#CCFFCC] Vassilis [/color][/B](X:XXX:XX)<br />Όπλα: [B]90[/B]% Ασπίδες: [B]90[/B]% Θωράκιση: [B]90[/B]%<br />[/font][font=courier new][U][color=#1F273C][color=#00FFFF]Καταδιωκτικό[/color][/color] [color=#1F273C][color=#FFCC00]Καταδρομικό[/color][/color] [color=#1F273C][color=#00FF99]Βομβαρδιστικό[/color][/color] [/U]<br />[color=#1F273C]__________[color=#00FFFF]16[/color][/color] [color=#1F273C]_________[color=#FFCC00]24[/color][/color] [color=#1F273C]____________[color=#00FF99]3[/color][/color] <br />[color=#1F273C]__________[color=#FF0000]-0[/color][/color] [color=#1F273C]_________[color=#FF0000]-0[/color][/color] [color=#1F273C]___________[color=#FF0000]-0[/color][/color] <br />[U][color=#1F273C]__________[color=#00FFFF]16[/color][/color] [color=#1F273C]_________[color=#FFCC00]24[/color][/color] [color=#1F273C]____________[color=#00FF99]3[/color][/color] [/U][/font]<br /><br />[font=verdana]Επιτιθέμενος [B][color=#CCFFCC] Vassilis [/color][/B](X:XXX:XX)<br />Όπλα: [B]90[/B]% Ασπίδες: [B]90[/B]% Θωράκιση: [B]90[/B]%<br />[/font][font=courier new][U][color=#1F273C][color=#00FFFF]Καταδιωκτικό[/color][/color] [color=#1F273C][color=#FFCC00]Καταδρομικό[/color][/color] [color=#1F273C]______[/color][/U]<br />[color=#1F273C]__________[color=#00FFFF]18[/color][/color] [color=#1F273C]_________[color=#FFCC00]16[/color][/color] [color=#1F273C]______[/color]<br />[color=#1F273C]__________[color=#FF0000]-2[/color][/color] [color=#1F273C]_________[color=#FF0000]-0[/color][/color] [color=#1F273C]______[/color]<br />[U][color=#1F273C]__________[color=#00FFFF]16[/color][/color] [color=#1F273C]_________[color=#FFCC00]16[/color][/color] [color=#1F273C]______[/color][/U][/font]<br /><br />[font=verdana]Έπιασε [B][color=#FF9900]32.845[/color][/B] μέταλλο, [B][color=#FF9900]32.845[/color][/B] κρύσταλλο και [B][color=#FF9900]21.409[/color][/B] δευτέριο.<br />[/font][font=verdana]Ο επιτιθέμενος έχασε συνολικά [B][color=#FF9900]54.000[/color][/B] μονάδες.<br />[/font]<br /><br />[font=verdana]Αμυνόμενος [B][color=#EEC273] neon [/color][/B](X:XXX:XX)<br />Όπλα: [B]90[/B]% Ασπίδες: [B]90[/B]% Θωράκιση: [B]80[/B]%<br />[/font][font=courier new][U][color=#1F273C][color=#33FF99]Ε.Μαχητικό[/color][/color] [color=#1F273C][color=#FF00FF]Β.Μαχητικό[/color][/color] [color=#1F273C][color=#00FFFF]Καταδιωκτικό[/color][/color] [/U]<br />[color=#1F273C]_______[color=#33FF99]261[/color][/color] [color=#1F273C]_________[color=#FF00FF]9[/color][/color] [color=#1F273C]___________[color=#00FFFF]5[/color][/color] <br />[U][color=#1F273C]___________ [color=#FF0000]καταστράφηκε[/color] __________[/color] [/U][/font]<br /><br />[font=verdana]Ο αμυνόμενος έχασε συνολικά [B][color=#FF9900]1.269.000[/color][/B] μονάδες.<br />[/font]<br /><br />Σε αυτές τις συντεταγμένες τώρα αιωρούνται [B][color=#FF9900]293.100[/color][/B] μέταλλο και [B][color=#FF9900]103.800[/color][/B] κρύσταλλο.<br />Η πιθανότητα δημιουργίας φεγγαριού είναι [B][color=#FF9900]3[/color][/B] %.<br /><br /><br />[color=#66FFCC][size=8pt][url=http://www.takanacity.com] -- Created by Takana&#039;s CR Converter&nbsp; v1.955 beta - Dragon Takana --[/url][/size][/color]<br />[/CENTER][/size]<br /><br />Παμε 2η διαδρομη επιθεσης<br /><br />5 μεγαλα μεταγωγικα<br />Ο επιτιθέμενος κέρδισε τη μάχη!<br />Έπιασε<br />57.521 μέταλλο, 48.898 κρύσταλλο, και 10.707 δευτέριο<br /><br /><br />Παμε 3η&nbsp; διαδρομη επιθεσης<br /><br />3 μεγαλα μεταγωγικα<br />Ο επιτιθέμενος κέρδισε τη μάχη!<br />Έπιασε<br />30.878 μέταλλο, 24.459 κρύσταλλο, και 5.354 δευτέριο<br /><br />[color=yellow]Πριν ειχε[/color]<br />Αμυνα <br />Εκτοξευτής Πυραύλων 8 Ελαφρύ Λέιζερ 91 <br />Βαρύ Λέιζερ 40 Κανόνι Gauss 5 <br />Κανόνι Ιόντων 34 Μεγάλος Αμυντικός Θόλος 1 <br />Τωρα τιποτα...<br /><br />Σημαντικο πρωτα ριχνουμε στους θολους και μετα στα πιο δυνατα οπλα...<br />Το Raksim μου ελεγε 9 πυραυλους και τελικα χρειαστηκαν 8...<br /><br />Και 4η διαδρομη επιθεσης<br />Ο επιτιθέμενος κέρδισε τη μάχη!<br />Έπιασε<br />13.091 μέταλλο, 6.450 κρύσταλλο, και 1.024 δευτέριο<br /><br /><br /><br /><br />Πηρα και 13 ανακυκλωτες που ειχα...εστειλα και αλλους 6...<br /><br />Πιστευω να εφτιαξα σωστα την αναφορα, ο converter μου εσπασε τα νευρα.<br />


So now i want to take the smf_messages table from the backup database and insert it in the live database but without delete the newer posts.
What option i need to use in the export opoeration ? UPDATE, REPLACE or INSERT ?

[Sarge]

So now i want to take the smf_messages table from the backup database and insert it in the live database but without delete the newer posts.
What option i need to use in the export opoeration ? UPDATE, REPLACE or INSERT ?

Use UPDATE. If it doesn't work for whatever reason, try REPLACE.

[Yngwiedis]

Thank you one more time Sarge.
Import of the messages finished successfully