 | Diese Suchmaschien erfährt gerade ihr größtes "rebuild" seit ihrer Gründung im Jahr 1999. Dies wurde realisiert durch ein von mir "massgeschneidertes" selbst geschriebenes Frontend, welches keinen unnötigen Ballast enthält und beliebig viele Suchserver ansprechen kann. Zurzeit ist nur ein einziger Suchserver mit 8 GB RAM Arbeitsspeicher im Einsatz, dieser ist zu ca. 2% ausgelastet. Die Suchtechnik basierte zuvor noch auf sogenannte flatfile-Dateien, welche Fragmente des gesamten Suchtextes enthielten. Bei jeder Suchanfrage musste hierfür eine auf der Festplatte des Servers liegende ca. 100 MB große Datei geladen und durchsucht werden. Die Datenmenge war dementsprechend auf ca. 50.000 Seiten beschränkt. Eine Suchanfrage nahm dabei bis zu 1 CPU-Sekunde in Anspruch. Der Ansatz mehrere themenbezogene Instanzen parallel laufen zu lassen, hatte sich als unpraktikabel erwiesen. Auch war das Durchsuchen von PDF-Dateien nicht implementiert. Jetzt wird bei einer Suchanfrage eine Wortliste durchsucht in der sich (rekursiv) alle auf allen indizierten Ergebnissseite befindlichen (Ergebnis/Anfrage-)Wörter befinden, wobei jedes Wort nur noch einmal in der Liste enthalten ist. Die gesamte Liste bleibt in dem Arbeitsspeicher des Suchservers geladen. Ich erwarte, dass ca. 1 Mio Seiten im Volltext durchsucht werden können, ggf. durch Optimierungen auch mehr. Jedoch soll an dem ursprünglichen Konzept festgehalten werden, bei der Aufnahme eines Grundbestandes an Seiten eine Vorauswahl zu treffen und dabei Seiten mit geringer inhaltlicher Qualität oder doppelte Inhalte weitestgehend durch technische Ausschlüsse nicht aufzunehmen. Die CPU-Last ist bei der Suche jetzt sehr gering und könnte bei entsprechender Uplaod-Geschwindigkeit gleichzeitig bis zu 1000 Nutzer pro Instanz und CPU-Kern bedienen. Geplante Änderungen und Erweiterungen in der Betaphase sind:
1. die massive Erweiterung der Seiteneinträge,
2. ein content-Bereich,
3. die Einbindung eines oder zweier weiterer Suchserver um Ausfallsicherheit zu gewährleisten und die Performance zu verbessern,
4. eine Möglichkeit einzelne Seiten zur Aufnahme in die Suchdatenbank vorzuschlagen und diese herauszunehmen
5. sowie technische Optimierungen wie das automatische Erkennen verschiedener Bildschirmauflösung und die darauf abgestimmte dynamische Layoutanpassung, insbesondere für Nutzer mit Bildschirmen, die nur Auflösungen bis 800 oder 1024 Pixel Fensterbreite nutzen können (Netbooks). Tipps und Anregungen sind Willkommen und werden insbesondere während der Betaphase (bis ca. Ende 2009) ggf. berücksichtigt. Entsprechende Anfragen bitte ich direkt an mich per Email zu richten (im Imressum). Die alte, nicht fortgeführte Version Alpha 2.9 von Jura-suche.de finden Sie bis auf weiteres noch hier. Münster, 22.03.2009 Michael Guck
| |
