FireFox Quellcode

[DANP]

Hallo,
sieht man sich mit Firefox (ich benutze die aktuellste Version) sich den Quellcode einer Seite an, werden dort links makiert und man kann per klick sich auch den Quellcode der verlinkten Seite/datei anschaun.
Allerdings führt Firefox hier kein Post/GET Request aus.
Nun stellt sich mir die Frage welche Methode benutzt hier Firefox um an den Quellcode der nächsten Seiten zu kommen?

[Raumi]

Moooooomeeent mal, alles ganz langsam.
Firefox zeigt dir den Quelltext einer Seite an, die es runtergeladen hat. Das im Quelltext Links enthalten sein können, ist natürlich möglich, diese sehen im Quelltext dann in etwa so aus

<a href="http://meineseite.de/seite.html">Seite XY</a>

Mit dem Klick auf den Link wird ein typischer GET Request an den Server gesendet, denn GET-Parameter werden über die URL mitgegeben.
Ein POST Request wirst du an sich mit einzelnen Verlinkungen nicht hinbekommen, es sei denn mit ein wenig JavaScript - der wird aber nur vom Webbrowser interpretiert und nicht vom Editor, mit welchem du den Quelltext liest?!

[DANP]

Okay dann frage ich anders.
Ich lade mir momentan per GET Request (java) einen quellcode runter und lese daraus dann einen Link aus.

Öffne ich nun einen neuen GET Request auf den gelesenen Link um den Quellcode herunterzuladen bekomme ich den quellcode der 1.ten Seite. (Weiterleitung oder so)...

Mit Firefox komme ich ohne probleme an den quellcode.

(Handelt sich um earnstar.de quellcodes der vergütungslinks)

[Raumi]

Ja, es gibt noch soetwas, dass nennt sich Cookies und ggf. Header (obwohl die Cookies werden ja im Header mitgesendet). Firefox sendet ja bei jedem Request an den Webserver (jenachdem ob die Website welche setzen mag) Cookies und Header (Informationen, welche sagen; „Hey, ich bin ein Firefox Browser auf einem Windows 8 PC). Das Ganze musst du dann bei einem eigenem Request natürlich auch mitsenden, dann simulierst du auch einen 1:1 Request von Firefox.

Wenn du genau wissen willst, was Firefox sendet, kannst du das Plugin Live-HTTP-Headers installieren oder mein Favorit, den Internet Explorer 9 o. 10 verwenden und mit der Entwickler-Konsole dir alles anzeigen lassen (F12).

[DANP]

Achne? Wirklich? Cookies.. soso..

Das habe ich bereits versucht. Allerdings bekommt dieses Plugin von diesem "request" anscheinend nichts mit.

Beim Internet Explorer werden beide html frames (1. frame welches sich nach 30sekunden aktuellisiert und 2. frame mit werbung) direkt mit in den Quellcode geladen...

Edit:// ich habe das vorhaben/Problem mal besser beschrieben:
[HIDE]
Um die das Vorhaben mal zu verdeutlichen:

Schritt 1 ist das auslesen folgender url aus dem quellcode dieser url: http://www.earnstar.de/link.php?go=2...f246b5f07d2768
=> auszulesen: link.php?go=2529668feb69d7f246b5f07d2768&mchec k=d2744880cd6d140d0f8c51e0eae70408&time=30&amp ;show=top1
Schritt 2 öffnen des ausgelesenen Links und erneutes auslesen aus dem quellcode:
=> auszulesen: if (time == 0) window.location.href = ">>>>link.php?go=3539668feb6cf15101070959e8bb&mche ck=2712b5b9daca2d3b9f6fa480e272b3bd&show=dverok1<< <<";
.....

Und hier ist das problem bei schritt 2. Öffne ich die url per get komme ich auf die url aus schritt 1.
Cookies werden gespeichert und der Header sollte eig. auch ausreichend gefüllt sein!.
[/hide]

[3lit]

Schon mal dran gedacht, das man auch Server seitig gucken kann ob der einzuhaltende Intervall schon abgelaufen ist?

[DANP]

Ja hab ich. Allerdings wenn ich die schritte manuell im firefox ausführe (url welche wirklich vergütet im browser eingebe) bekomme ich die Vergütung auch wenn die Zeit noch nicht abgelaufen ist.

[Raumi]

Achne? Wirklich? Cookies.. soso..

Hey, wenn du so kommst, brauchst du (zumindest von mir) keine Hilfe erwarten. Schalt mal einen Gang runter.
Willst du uns einen kleinen Vorschau auf deinen Java-Code geben(?), ich will nur dahinter kommen, was genau du da simulieren willst.

[DANP]

Hi,
sry .

1. Step getFrameUrl(VERGÜTUNGSLINK)
2.Step getAfterTimePage(getFrameUrl(VERGÜTUNGSLINK))

[HIDE=10]

public static String getAfterTimePage(String link) throws IOException{
        Pattern patternForFrameUrl = Pattern.compile("window.location.href = \"(.*?)\";");
        String source = getSourceCode(link);
        Matcher matcher = patternForFrameUrl.matcher(source);
        System.out.println(source); //just 4 testing
        while (matcher.find()) {
            try {
                System.out.println("http://www.earnstar.de/" + matcher.group(1)); //just 4 testing
                return ("http://www.earnstar.de/" + matcher.group(1));
            } catch (Exception e) {
                System.out.println(source); //just 4 testing
            }
        }
        return null;
    }
    
    public static String getFrameUrl(String link) throws IOException{
        Pattern patternForFrameUrl = Pattern.compile("<frame name=\"oben\" scrolling=\"no\" noresize src=\"(.*?)\" marginwidth=\"0\" marginheight=\"0\" frameborder=\"no\">");
        Matcher matcher = patternForFrameUrl.matcher(getSourceCode(link));
        
        while (matcher.find()) {
            try {
                System.out.println("http://www.earnstar.de/" + matcher.group(1)); //just 4 testing
                return ("http://www.earnstar.de/" + matcher.group(1));
            } catch (Exception e) {
                System.out.println("blabla regex fail");
            }
        }
        return null;
    }

    public static String getSourceCode(String link) throws IOException{
        StringBuilder sb = new StringBuilder();
        URL url = new URL(link);
        
        HttpURLConnection connection = (HttpURLConnection) url.openConnection();
        connection.setRequestMethod("GET");
        connection.setDoInput(true);
        connection.setDoOutput(true);
        connection.setUseCaches(false);
        connection.addRequestProperty("User-Agent", "User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:16.0) Gecko/20100101 Firefox/15.0"); 
        connection.setRequestProperty("Content-Type","application/x-www-form-urlencoded");
        connection.setRequestProperty("Referer", "http://google.de");
        HttpURLConnection.setFollowRedirects(false);
        
        BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()));
        System.out.println(cookieJar.getCookies()); //just 4 testing
        for (String line; (line = reader.readLine()) != null;) {
            sb.append(line + "\n");
        }
        
        reader.close();

        return sb.toString();
    } 

[/HIDE]