Datenbank viel zu groß?

[Entrafiz]

Guten Abend,

ich habe in den letzten Tage aus Spaß mal einen Cronjob angelegt, der mir jede Menge MD5-Hashs aus zufällig erzeugten Strings erzeugt. Jeder Eintrag kommt in der Datenbank nur einmal vor.
Das Problem ist aber, dass jetzt schon 34.761.721 Einträge in der Datenbank vorhanden sind (3,2 GB).
Mit einer einfachen Abfrage kann ich nicht nach einem bestimmten String in der Datenbank suchen, das dauert einfach zu lange, jetzt habe ich es mit einer for-Schleife versucht, das funktioniert aber leider auch nicht so, wie ich es mir vorgestellt habe. Es dauert auch viel zu lange, bis das Skript zu einem Ergebnis kommt.

Jetzt ist meine Frage: Gibt es noch weitere Möglichkeiten?

[Ta1lor]

Wie ist denn dein jetziger Query zum abfragen?

Allgemein ist zu sagen das MySQL für so eine Größe noch perfekt zu benutzen ist. 3,2 GB sind noch nichts. Vielleicht musst du deine Abfragen etwas aufteilen, bzw. die Datenbank aufteilen und kein * from string reinhauen.

[Entrafiz]

for($i=0;$i<34756075;$i+1000){
        $eins = $i;
        $zwei = $i+1000;
        $anz = mysql_num_rows(mysql_query("SELECT word FROM `md5_tab` WHERE md5 = '$md5' LIMIT $eins , $zwei"));
        if($anz!=0){
            $q = mysql_query("SELECT word FROM `md5_tab` LIMIT $eins , $zwei");
            while($res = mysql_fetch_array($q)){
                echo $res[0];
            }
            $i = 35000000;
        }
    } 

[Ta1lor]

Hast du die Tabelle indiziert? Und bei deinem Code da machst du ja zwei Anfragen über die ganze Tabelle? Reicht da nicht einer?

[Entrafiz]

Ja, die Tabelle ist indiziert. Du hast Recht, eine Abfrage sollte reichen, ich weiß jetzt im Moment auch nicht, wieso ich noch mysql_num_rows ausführe.
Werde es mal mit nur einer Abfrage versuchen.

[Mentos]

SELECT word FROM `md5_tab` WHERE md5 = '$md5' LIMIT $eins , $zwei" 

Verstehe ich ehrlich gesagt nicht. Wenn wir deiner Datenbank mal unterstellen, dass sie keine Kollisionen hat, ist jedem MD5 Wert exakt einem Wort zugeordnet.
Dementsprechend müsste ein LIMIT 1 reichen. Dann wird deine DB Abfrage auch schneller durchgeführt.
Sorry, wenn ich es falsch verstanden habe

[Minecraft]

LIMIT ist dazu da um nur die ersten X Werte ausgeben zu lassen wenn es möglich ist dass es weit mehr gibt.
Wenn jeder Hash einzigartig ist kann es niemals sein dass es mehr wie einen Datenbankeintrag dazu gibt, also kann man es ganz weglassen.
Schneller wird die Abfrage dadurch logischerweise aber nicht.
Da es nur 1 Ergebnis gibt wird durch Limit ja nix rausgefiltert, also gleich schnell wie ohne.

[Mr. White]

Um sehr schnell zu überprüfen, ob ein Element in einem Vokabular enthalten ist, bietet sich der Bloomfilter an.

Steht die For-Schleife 1:1 in deinem Skript? Dann wird sie ja nur einmal ausgeführt. $i+1000 verändert $i nicht. Und am Ende setzt du $i auf 35.000.000, damit ist die Abbruchbedingung erfüllt.