[CON-321] Standard-Suchmodul und UTF-8

Oldperl
Beiträge: 4254
Registriert: Do 30. Jun 2005, 22:56
Wohnort: Eltmann, Unterfranken, Bayern
Kontaktdaten:

Re: Standard-Suchmodul und UTF-8

Beitrag von Oldperl » Mi 16. Jun 2010, 10:55

Halchteranerin hat geschrieben:Für die 4.8.13 wird das aber wahrscheinlich nicht mehr behoben, oder? :cry:
Soweit ich sehe wird daran schon gearbeitet, also denke ich da kommt schon was in das neue Release. :-)

Gruß aus Franken

Ortwin
ConLite 2.1, alternatives und stabiles Update von Contenido 4.8.x unter PHP 7.x - Download und Repo auf Gitport.de
phpBO Search Advanced - das Suchwort-Plugin für CONTENIDO 4.9
Mein Entwickler-Blog

Dodger77
Beiträge: 3626
Registriert: Di 12. Okt 2004, 20:00
Wohnort: Voerde (Niederrhein)
Kontaktdaten:

Re: Standard-Suchmodul und UTF-8

Beitrag von Dodger77 » Mi 16. Jun 2010, 13:27

@Oldperl: Wer arbeitet denn daran? Im Trunk ist die Klasse ja schon länger nicht mehr angefasst worden.

@xmurrix: Es kann natürlich sein, dass die str_replace() dabei auch Schwierigkeiten machen, aber soweit ich das sehe dürfte insbesondere die Verwendung der Keywords als Schlüssel des Array Probleme verursachen. Ich habe mal mit aktivem Debugging in der Klasse Inhalte neu gespeichert. Dann sieht man für den Beispielmandanten auf der Startseite z.B. folgendes:

Code: Alles auswählen

keys
Array
(
    [ihre] => CMS_HTMLHEAD-1 
    [installation] => CMS_HTMLHEAD-1 
    [hat] => CMS_HTMLHEAD-1 
    [geklappt] => CMS_HTMLHEAD-1 
    [hei] => CMS_HTMLHEAD-2 
    [tatjana] => CMS_HTMLHEAD-2 
    [oder] => CMS_HTMLHEAD-2 CMS_HTML-1 
    [sie] => CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 
    [haben] => CMS_HTML-1 
    [das] => CMS_HTML-1 CMS_HTML-1 
    [content] => CMS_HTML-1 
    [management] => CMS_HTML-1 
    [system] => CMS_HTML-1 
    [contenido] => CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 
    [erfolgreich] => CMS_HTML-1 
    [installiert] => CMS_HTML-1 
    [war] => CMS_HTML-1 
    [doch] => CMS_HTML-1 
    [nicht] => CMS_HTML-1 
    [so] => CMS_HTML-1 
    [schwer] => CMS_HTML-1 
    [nun] => CMS_HTML-1 
    [kn] => CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 
    [sich] => CMS_HTML-1 
    [in] => CMS_HTML-1 CMS_HTML-1 
    [anmelden] => CMS_HTML-1 
    [und] => CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 
    [den] => CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 
    [inhalt] => CMS_HTML-1 
    [bearbeiten] => CMS_HTML-1 
    [navigationsstrukturen] => CMS_HTML-1 
    [individuell] => CMS_HTML-1 
    [verern] => CMS_HTML-1 
    [neue] => CMS_HTML-1 
    [seiten] => CMS_HTML-1 
    [einstellen] => CMS_HTML-1 
    [dabei] => CMS_HTML-1 
    [bilder] => CMS_HTML-1 
    [links] => CMS_HTML-1 
    [tabellen] => CMS_HTML-1 
    [einf] => CMS_HTML-1 
    [usw] => CMS_HTML-1 
    [diese] => CMS_HTML-1 CMS_HTML-1 
    [seite] => CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 
    [soll] => CMS_HTML-1 
    [ihnen] => CMS_HTML-1 CMS_HTML-1 CMS_HTML-1 
    [einen] => CMS_HTML-1 CMS_HTML-1 
    [kurzen] => CMS_HTML-1 
    [blick] => CMS_HTML-1 
    [die] => CMS_HTML-1 CMS_HTML-1 
    [arbeit] => CMS_HTML-1 
    [geben] => CMS_HTML-1 
    [weiterfnde] => CMS_HTML-1 
    [informationen] => CMS_HTML-1 
    [empfehlen] => CMS_HTML-1 
    [wir] => CMS_HTML-1 
    [redakteurshandbuch] => CMS_HTML-1 
    [anhand] => CMS_HTML-1 CMS_HTML-1 
    [dieser] => CMS_HTML-1 
    [auch] => CMS_HTML-1 
    [mit] => CMS_HTML-1 
    [der] => CMS_HTML-1 
    [integration] => CMS_HTML-1 
    [einer] => CMS_HTML-1 CMS_HTML-1 
    [eigenen] => CMS_HTML-1 
    [beginnen] => CMS_HTML-1 
    [gegebenen] => CMS_HTML-1 
    [layouts] => CMS_HTML-1 
    [modulen] => CMS_HTML-1 
    [templates] => CMS_HTML-1 
    [funktionsweise] => CMS_HTML-1 
    [von] => CMS_HTML-1 
    [aufbau] => CMS_HTML-1 
    [bestandteile] => CMS_HTML-1 
    [website] => CMS_HTML-1 
    [schnell] => CMS_HTML-1 
    [erlernen] => CMS_HTML-1 
    [was] => CMS_HTML-1 
    [beispielinstallation] => CMS_HTML-1 
    [bietet] => CMS_HTML-1 
    [welche] => CMS_HTML-1 
    [module] => CMS_HTML-1 
    [zum] => CMS_HTML-1 
    [siteaufbau] => CMS_HTML-1 
    [zur] => CMS_HTML-1 
    [verfg] => CMS_HTML-1 
    [stehen] => CMS_HTML-1 
    [hier] => CMS_HTML-1 
    [erfahren] => CMS_HTML-1 
)
Dabei sollte z.B. der 5. Punkt "heißt" statt "hei" heißen. "hei" wird allerdings so wie aktuell umgesetzt in der con_keywords gespeichert. Andere Wörter, die schon an erster oder zweiter Stelle ein Nicht-ANSI-Zeichen haben, kommen so gar nicht in die Datenbank. In anderen Konstellationen habe ich es schon gesehen, dass in der con_keywords lange Zahlen als Keywords gespeichert werden, die wohl den numerischen Notationen der UTF-8-Zeichen entsprechen, nur ohne "&#" und ";". Das führt auch nicht zwangsläufig zu guten Ergebnissen. :wink:

Wenn der Zeichensatz für die Sprache anders ist als der Standard-Zeichensatz für den Server, gibt es evtl. auch mal Probleme. Interessant wird es ja immer beim Umstellen auf UTF-8 für eine Sprache, da dann Beschriftungen im Backend falsch dargestellt werden. Vielleicht könnten wir dahingehend das Backend komplett auf UTF-8 umstellen und Formulare entsprechend der Zeichenkodierungseinstellungen der aktuell bearbeiteten Sprache das "accept-charset"-Atribut mitgeben.

Oldperl
Beiträge: 4254
Registriert: Do 30. Jun 2005, 22:56
Wohnort: Eltmann, Unterfranken, Bayern
Kontaktdaten:

Re: Standard-Suchmodul und UTF-8

Beitrag von Oldperl » Mi 16. Jun 2010, 13:34

@Dodger77
Ohja, ich werd doch alt... :mrgreen:

Gruß aus Franken

Ortwin
ConLite 2.1, alternatives und stabiles Update von Contenido 4.8.x unter PHP 7.x - Download und Repo auf Gitport.de
phpBO Search Advanced - das Suchwort-Plugin für CONTENIDO 4.9
Mein Entwickler-Blog

Halchteranerin
Beiträge: 5478
Registriert: Di 2. Mär 2004, 21:11
Wohnort: Halchter, wo sonst? ;-)
Kontaktdaten:

Re: Standard-Suchmodul und UTF-8

Beitrag von Halchteranerin » Mi 16. Jun 2010, 20:25

Dodger77 hat geschrieben:Vielleicht könnten wir dahingehend das Backend komplett auf UTF-8 umstellen.
Hmm, das hatte ich gerade mit einer 4.8.12 versucht, aber siehe hier:
http://forum.contenido.org/viewtopic.ph ... 34#p144934
:cry:
Bitte keine unaufgeforderten Privatnachrichten mit Hilfegesuchen schicken. WENN ich helfen kann, dann mache ich das im Forum, da ich auch alle Postings lese. PN werden nicht beantwortet!

Aleksch1893
Beiträge: 38
Registriert: Mo 26. Jul 2010, 09:47
Kontaktdaten:

Re: Standard-Suchmodul und UTF-8

Beitrag von Aleksch1893 » Sa 31. Jul 2010, 08:39

Hallo, ich habe ein Problem und bekomme es einfach nicht in den Griff. Auch die Hinweise im parallelen Thread für die kyrillischen Zeichen haben mir nicht helfen können.

Ich verwende das Standard-Suchmodul in Version 4.8.12, bei der Ausgabe der Suchergebnisse werden ausschließlich die Umlaute in den Überschriften als Zeichenwirrwarr dargestellt.

Beispiel:

Code: Alles auswählen

Willkommen auf den Seiten der �kumenischen Arbeitsgruppe
Der Text wiederrum wird korrekt ausgegeben.

Hat jemand von euch einen Rat, wie ich das Problem in den Griff bekommen kann?



Weitere Frage: nach welchem Kriterium sortiert das Suchmodul seine Ergebnisse? Nach Kategoriereihenfolge? Nach Änderungsdatum? Nach Veröffentlichungsdatum? Wo kann ich das einsehen und ändern?




Grüßle

Halchteranerin
Beiträge: 5478
Registriert: Di 2. Mär 2004, 21:11
Wohnort: Halchter, wo sonst? ;-)
Kontaktdaten:

Re: Standard-Suchmodul und UTF-8

Beitrag von Halchteranerin » Sa 31. Jul 2010, 21:54

Hmm, du hast schon gesehen, dass du dich im Bugs-Forum befindest und das Problem noch NICHT gelöst wurde, oder? :roll:
Was für ein Zeichensatz benutzt du überhaupt?
Bitte keine unaufgeforderten Privatnachrichten mit Hilfegesuchen schicken. WENN ich helfen kann, dann mache ich das im Forum, da ich auch alle Postings lese. PN werden nicht beantwortet!

Gesperrt