Proxybase.de ProxyCrawler

[DMW007]

Ich miste zurzeit meine VS-Projekte aus, und werde daher alles was meiner Meinung nach sinnvoll ist und public werden darf hier posten.

Die Funktion sammelt alle verfügbaren Proxys von der Seite ProxyBase.de | Proxyliste und Proxychecker in einem Array.
Das lohnt sich bei dieser Seite besonders, da deren Datenbank mehr als 3k Proxys enthält.

void Proxybase_DE(List<string> proxys) {

        WebClient client = new WebClient();

        int page = 0;

        string src = "";



        do {

            src = client.DownloadString(string.Format("http://www.proxybase.de/index.php?start={0}", page));



            MatchCollection matches = Regex.Matches(src, @">(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}:\d{1,6})");

            if (matches.Count == 0)

                break;



            for (int i = 0; i < matches.Count; i++) {

                string proxy = matches[i].Groups[1].Value;

                if (!proxys.Contains(proxy)) {

                    proxys.Add(proxy);

                }

            }

            page += 25;

        } while (src.Contains("<div id='balken"));

    }

Beispielaufruf:

List<string> proxys = new List<string>();

Proxybase_DE(proxys);

Im Anhang findet ihr noch ein Beispieltool, dass alle Proxys ausließt und anschließend in eine Textdatei schreibt (Format: IP: Port, 1 Proxy pro Zeile).
Pro Seite werden 25 Proxys gecrawled, es dauert bei 3k also logischerweise ein paar Minuten, bis der Crawler alle durch hat.