CDN unwirtschaftlich?

[ThunderStorm]

Hey,

ich habe mich gerade ein bisschen über CDNs also Content Delivery Networks schlau gemacht. Folgenden Teil aus Wikipedia verstehe ich aber nicht so richtig:

Das CDN besteht zunächst aus einem Ursprungsserver, auf dem der Inhalteanbieter die zu verteilenden Inhalte ablegt, einer großen Zahl an Replica-Servern, die Kopien dieser Inhalte vorhalten, und einem Distributionssystem, das die Inhalte auf den Replica-Servern verteilt.

Das heißt also, Hoster wie Uploaded.net haben viele Server in unterschiedlichen Ländern. Wenn ich jetzt eine Datei hochlade, wird die auf einen Server pro Land kopiert. Wenn sie jemand herunterläd schaut das CDN also nach einem Server der möglichst in der Nähe und am wenigsten ausgelastet ist. Wenn ich das so richtig verstanden habe ist ein CDN aber doch astronomisch teuer? Ich meine wenn ich jetzt z.B. 100MB hochlade und die z.B. auf 10 verschiedene Server kopiert werden belegt das Uploaded.net doch 1GB? Und die haben ja sehr viele und auch größere Daten also müsste das doch verdammt teuer sein Wäre es da nicht billiger wenn man die Daten immer nur auf einen Server läd?

[Ta1lor]

Kannst ja mal nach Preisen gucken wie viel du so für ein richtiges CDN bezahlst, das rentiert sich für die schon. Uploaded ist kein CDN.

Würde man die Dateien nur auf einen Server laden, wäre es kein CDN mehr. Es geht nun mal darum Content so schnell und gut wie möglich auszuliefern.

[ThunderStorm]

Uploaded ist kein CDN.

Was dann? In Wikipedia steht dass man CDNs meistens für große Mediendaten benutzt. Das trifft auf uploaded ja zu.
Ich meine gut ein Server würde bei Uploaded wohl nicht gehen der würde bei so vielen Dateien ja überlasten
Ich meine halt dass man die Dateien nicht auf dutzende verschiedene Server kopiert sondern halt sagt dass man z.B. immer eine gewisse Anzahl an Daten auf einen Server läd und wenn der voll ist nimmt man halt einen anderen.

[Ta1lor]

Was dann? In Wikipedia steht dass man CDNs meistens für große Mediendaten benutzt. Das trifft auf uploaded ja zu.
Ich meine gut ein Server würde bei Uploaded wohl nicht gehen der würde bei so vielen Dateien ja überlasten
Ich meine halt dass man die Dateien nicht auf dutzende verschiedene Server kopiert sondern halt sagt dass man z.B. immer eine gewisse Anzahl an Daten auf einen Server läd und wenn der voll ist nimmt man halt einen anderen.

Nagut, nach Definition ist UL schon ein CDN, ich würde es aber durch die Beschränkungen nicht als ein solches Einstufen.
Du vergisst da was wichtiges bei. Es geht hier um high performance, so schnell ausliefern wie möglich. Da kannst du nicht einfach alles auf ein Server packen, der kommt mit den Anfragen nicht hinterher. Das muss über mehrere Server loadbalanced werden.

[ThunderStorm]

Mir ging es hauptsächlich um den grundsätzlichen technischen Aufbau, der hängt ja denke ich mal nicht davon ab ob es irgendwelche Beschränkungen gibt.
Aber stimmt jetzt bin ich glaube ich draufgekommen was ich übersehen habe: Uploaded.net weiß ja nicht ob ich den Link an eine Person gebe die das 1x herunterläd und dann nie wieder oder ob es z.B. ein ganz neues Album ist wo jeden Tag mehrere tausend Downloads hat. Also können die ja ohne CDN schlecht kalkulieren wie viele Dateien sie auf einen Server tun, weil bei den mit vielen Downloads ja weniger auf einen Server passen damit der Download noch schnell ist als bei denen mit wenig Downloads oder?
Was mich auch noch interessieren würde: Wie machen das Bildhoster? Die großen wie z.B. Imageshack haben ja auch ziemlich viele Bilder aber dafür ist ein einzelnes Bild ja eher klein und maximal ein paar Mb groß. Benutzen die auch ein CDN oder machen die das irgendwie anders?

[Snees]

Benutzen die auch ein CDN oder machen die das irgendwie anders?

Ich weiß z.B. von Abload.de, dass die mehrere Server haben, würde ja auch nicht anders gehen.

Im Footer steht:

Ausgeliefert von Server h17

Ich gehe hier mal davon aus, dass ein Bild nicht auf alle anderen Server übertragen wird, sondern, dass die Bilder auf die Server verteilt werden und ein Server hat dann die Informationen, auf welchem Server das Bild liegt, das angezeigt werden soll.

[Ta1lor]

Mir ging es hauptsächlich um den grundsätzlichen technischen Aufbau, der hängt ja denke ich mal nicht davon ab ob es irgendwelche Beschränkungen gibt.
Aber stimmt jetzt bin ich glaube ich draufgekommen was ich übersehen habe: Uploaded.net weiß ja nicht ob ich den Link an eine Person gebe die das 1x herunterläd und dann nie wieder oder ob es z.B. ein ganz neues Album ist wo jeden Tag mehrere tausend Downloads hat. Also können die ja ohne CDN schlecht kalkulieren wie viele Dateien sie auf einen Server tun, weil bei den mit vielen Downloads ja weniger auf einen Server passen damit der Download noch schnell ist als bei denen mit wenig Downloads oder?
Was mich auch noch interessieren würde: Wie machen das Bildhoster? Die großen wie z.B. Imageshack haben ja auch ziemlich viele Bilder aber dafür ist ein einzelnes Bild ja eher klein und maximal ein paar Mb groß. Benutzen die auch ein CDN oder machen die das irgendwie anders?

Naja im Endeffekt funktioniert das so: User lädt Datei auf einen Server -> wird (meist) über redundante Storagesysteme gespiegelt. Damit muss das Bild keine 5000 mal zu jedem Server gespiegelt werden sondern zb nur auf 100, aber alle Server können sich das abholen. Und ja, große Imagehoster nutzen ein CDN.

Also Die Corepower und der Speicher sind voneinander getrennt, dadurch ist die Erweiterbarkeit einfach gegeben. Kannst dir vorstellen das jeder Standort ein großen Storageverbund hat und mehrere Webserver die das Ausliefern. Darum muss pro Standort ein Bild nur 1 mal hingeschoben werden.

[ThunderStorm]

Natürlich haben die mehrere Server, das steht bei fast 38 Millionen Bilder außer Frage
Interessant ist eben wie das technisch gemacht ist. Wenn die die Bilder auf die Server verteilen wissen die ja auch nicht ob das ein Foto ist das 1 Aufruf von jemandem hat dem ich den Link schicke oder ob das Foto z.B. auf 3dl.tv als Cover rein gemacht wird. Da kann es bei neuen belibten Alben denke ich schon mal vorkommen dass so ein Bild mehrere zehntausend mal pro Tag aufgerufen wird. Also bräuchten die ja eigentlich auch ein CDN?

[Ta1lor]

Natürlich haben die mehrere Server, das steht bei fast 38 Millionen Bilder außer Frage
Interessant ist eben wie das technisch gemacht ist. Wenn die die Bilder auf die Server verteilen wissen die ja auch nicht ob das ein Foto ist das 1 Aufruf von jemandem hat dem ich den Link schicke oder ob das Foto z.B. auf 3dl.tv als Cover rein gemacht wird. Da kann es bei neuen belibten Alben denke ich schon mal vorkommen dass so ein Bild mehrere zehntausend mal pro Tag aufgerufen wird. Also bräuchten die ja eigentlich auch ein CDN?

Wie du es selber sagst kann so nicht gerechnet werden. Es wird nach aktueller Leistung gerechnet, das heißt wenn ein extra Frontend gebraucht wird, wird halt einer dazugeschalten (Ist natürlich bei einem großen CDN untertrieben). Das wird alles speziell monitored das nie zu wenig Speicher oder Power da ist.