Forum: PC Hard- und Software Verteiltes Rechnen im privaten Gebrauch?


von Markus B. (rusticus)


Lesenswert?

Hallo,

ich frage mich schon länger ob es wirklich sinnvolle Anwendungen für 
verteiltes Rechnen im privaten Bereich gibt. Die einzigen Anwendungen 
die mir einfallen, für die mehr wirklich mehr Rechenkraft als 
Datendurchsatz (Internet, Stream) nötig sind, sind meiner Meinung nach 
das umwandeln von Video-Dateien, speziell im HD-Bereich oder das rendern 
von 3D-Objekten/Filmen. Wobei man speziell beim rendern sich wohl eher 
selten im privaten Bereich aufhält wo es Sinn macht. Für das umwandeln 
von Filmen gibt es auch Hardware oder FPGA's die bestimmt billiger sind 
als 3 oder 4 rechner und es gibt bereits für viele Formate fertige Cores 
( http://opencores.com/project,nova )


Also wann macht verteiltes Rechnen Sinn? Doch lieber sich einen FPGA 
basteln mit weit aus weniger Stromverbauch? Oder gibt es sogar wirklich 
Anwendungen bei denen sogar ein echter Root im Rechenzentrum Sinn macht?

Mich würden eure Gedanken interessieren

Danke und gute Nacht

Rusticus

von Matthias K. (rino1)


Lesenswert?

Ich schätze mal, der programmier Aufwand wird größer sein  bei einem 
FPGA
und außerdem wer hat schon ein fpga-board daheim wechles am Internet 
angeschlossen ist und dann so konfiguriert ist um dann das große Probelm 
zu bearbeiten.

Im Punkt Stromverbrauch hast du auf jedenfall recht.
Aber das ist dann ein Privates Probelm mit dem Stromverbrauch.


Gruß,
Matthias K.

von adsf (Gast)


Lesenswert?

Für vieles aus dem professionellen Umfeld finden sich Leute die es auch 
privat anwenden -> da hast du dann natürlich den Bedarf, Rendering als 
Beispiel hast du ja genannt, sonstige wissenschaftliche oder 
mathematische Probleme gibts da einige.
Der Rootserver im Rechenzentrum lohnt sich zum RECHNEN wahrscheinlich 
nicht (zu teuer), dessen Stärke ist die Internetanbindung, dafür gibts 
natürlich Anwendungen, wenn man Webseiten betreibt.

FPGAs kommen da eher wenig zum Zug, da es keine fertigen Lösungen dafür 
gibt und viel weniger dafür ordentlich entwickeln können (Die 
Bitcoinfraktion macht das AFAIK, aber die sind ja inzwischen schon bei 
ASICs angekommen, weil noch effizienter)
Und natürlich die paar, die das selber entwickeln können oder jemanden 
finden der ihnen sowas als Hobby baut. Bei fertiger Software werden 
höchstens Grafikkarten mal mitgenutzt.

von Ben _. (burning_silicon)


Lesenswert?

Es ist immer die Frage was Du machen willst. Die Aufgabe muß sich für 
das parallele Berechnen eignen, wenn ein Thread auf das Ergebnis des 
anderen warten muß bringt's nicht mehr so viel.

Was sich zB. sehr gut parallelisieren läßt ist das Knacken von 
Kennwörtern, weil jeder Thread mit Volldampf seinen eigenen Bereich 
testen kann ohne von anderen Threads überhaupt Notiz zu nehmen. Außerdem 
müssen keine großen Datenmengen übertragen werden, sondern nur 
Steuerdaten. Prüfe von aaa bis zzz und sag mir ob Du was gefunden 
hast...

von Markus B. (rusticus)


Lesenswert?

Hallo

@Ben, stimmt, das ist wirklich eine sinnvolle Anwendung, da kann man 
auch sogar gut und gern den Root im RZ noch bemühen

Naja gut, ein FPGA zu programmieren ist wirklich nicht das einfachste, 
allerdings geht es ja mit CUDA bzw STREAM in die selbe/ähnliche 
Richtung, die Hardware hat jeder daheim und die Programmierung is sehr 
ähnlich wie C

Viele Programme zum wandeln von Videos nutzen bereits die Grafikkarte 
und so lässt sich auch wirklich ein Leistungszuwachs gewinnen der 
erheblich ist

Andere Anwendungsbereiche wären mir aber nach wie vor fern


@Ben, stimmt, das ist wirklich eine sinnvolle Anwendung, da kann man 
auch sogar gut und gern den Root im RZ noch bemühen

von Εrnst B. (ernst)


Lesenswert?

Wenn Du privat verteilt rechnen willst, dann lohnt sich ein einzelner 
Root-Server im RZ nicht. Der langweilt sich dann fast den ganzen Tag, 
und wenn's wirklich mal was zu tun gibt, ist einer zuwenig.

Schau dir mal Amazon EC2 an:
Da kannst du schnell mal hunderte Rechner (ggfs. incl. NVIDIA-Tesla 
Karte) mit deiner Aufgabe auslasten, und wenn die gelöst ist, sofort 
wieder wegschalten.

http://de.wikipedia.org/wiki/Amazon_Web_Services#Amazon_Elastic_Compute_Cloud_.28EC2.29

von J.-u. G. (juwe)


Lesenswert?

Wer auch privat gerne größere Projekte kompiliert, oder 
Sourcecodebasierte Distributionen (z.B. Gentoo) auch auf Systemen mit 
geringer Prozessorleistung einsetzt, könnte von "distcc" profitieren:
http://de.wikipedia.org/wiki/Distcc

von Markus B. (rusticus)


Lesenswert?

Vielleicht ist hier ein bisschen Verwirrung durch eine unklare 
Formulierung aufgekommen

Ich hab konkret nichts vor, von daher ist es egal ob es sich lohnt oder 
nicht, es geht mir mehr um die Möglichkeiten und Fallbeispiele

Ein Root im RZ lohnt wohl eher sehr sehr selten, was im privaten Umfeld 
mehr Sinn macht sind im Moment wohl vor allem ein paar Raspberry's, da 
gibt es sogar schon ein Projekt für einen Supercomputer

Aber was gibt es für Applikationen im privaten Bereich? Wetter berechnet 
wohl eher keiner
Es sind wohl eher immer nur solche Anwendungen in denen aus wenig Daten 
viel berechnet werden muss und das passiert wohl nicht oft oder?

Was ich bisher weiß/gesammelt habe:

- Rendern
- Videowandlung/rippen
- Bruteforce
- Compilieren
- Bitcoining

Und dann ist die Frage ob es sich wirklich lohnt dafür das Netzwerk 
aufzubauen oder nicht einfach ein Gerät dafür verwendet das sich darauf 
spezialisiert, beim Rendern hätte ich noch keine spezielle Hardware 
dafür gefunden, Bruteforce mit einem FPGA gibt es schon einige Projekte, 
Compilieren stelle ich mir wiederum vor, ist mit spezieller Hardware 
quasi unmöglich

von Georg A. (georga)


Lesenswert?

> wohl vor allem ein paar Raspberry's, da gibt es sogar
> schon ein Projekt für einen Supercomputer

Vergiss den Mist. Alles Heissluft für hypige Blogs ohne realistischen 
Anwendungszweck dahinter. Warum soll ich viel Arbeit für die 
Parallelisierung auf unzählige Funzel-CPUs reinstecken, wenn dasselbe 
auf einer "richtigen" CPU out-of-the-box so läuft? Für eine 
Webserverfarm mit im wesentlichem statischen Contents gehts grade noch, 
aber sonst macht es keinen Sinn.

Die meisten Anwendungen (nicht der Kindergarten-Passwort-Cracker...) 
sind entweder Memory-Bound oder IO-Bound. Der Speicherdurchsatz ist beim 
ARM meilenweit weg von einem i7, IO erst recht 
(Netzwerk/Massenspeicher).

von Markus B. (rusticus)


Lesenswert?

Dafür aber auch der Preis und es geht eigentlich ja nur um 
CPU-Bound-Anwendudngen und noch dazu im privaten Bereich?!

von Hans W. (Firma: Wilhelm.Consulting) (hans-)


Lesenswert?

Naja, die der rasperry-b kostet mehr wie ein board mit VIA PV530 => rapi 
ist für sowas uninteressant!

noch krasser wirds beim n2800er-board von intel...


um aufs thema zurückzukommen:

nein, eigentlich im hausgebrauch gibts nix, was man mit normalen 1-8 
kern desktop cpus nicht machen könne/mehr bräuchte um praktikabel zu 
sein.

video-encoding läuft parallelisiert auf der graka. fpgas werden an diese 
spezifischen asics nicht rankommen... weder in durchsatz noch in 
stromaufnahme.

fpga-boards (im speziellen diese lustigen pcie-fpga-karten) sind 
eigentlich nur fürs number-crunching zu gebrauchen, aber selbst diese 
dinge rennen heute fast schon schneller auf der GPU... zumindest ists 
billiger :)

73

von adsf (Gast)


Lesenswert?

Hans Wilhelm schrieb:
> fpga-boards (im speziellen diese lustigen pcie-fpga-karten) sind
> eigentlich nur fürs number-crunching zu gebrauchen, aber selbst diese
> dinge rennen heute fast schon schneller auf der GPU... zumindest ists
> billiger :)

Bis zu dem Punkt wo man Energieverbrauch berücksichtigt. Da können FPGAs 
bei Dauerbetrieb wieder aufholen.

von Hans W. (Firma: Wilhelm.Consulting) (hans-)


Lesenswert?

@asdf:
FPGAs sind NIE energieeffizienter wie ein ASIC (bei einem fairen 
Vergleich)!



Weils mich gerade interessiert hat ein RaPi => Top500 Vergleich :)

http://hackaday.com/2012/09/12/64-rasberry-pis-turned-into-a-supercomputer/

die derzeitige 500. Maschine hat 13560 cores, bei 6Cores/CPU (also 2,260 
CPUs) mit einer Leistungsaufnahme von 185.77MFlops/W

der Pi bringt 22903.8kFlops bei ca 2.5W => 9.1MFlops/W

ich hätte de Pi gar nicht so gut eingeschätzt...

naja der effizienteste, den ich auf die schnelle in der liste gefunden 
hat, ist #253 bei 2449.57Mflops/W :)

73

von Markus B. (rusticus)


Lesenswert?

Hallo Hans Wilhelm,

schön das sich einer konstruktiv beteiligt

Von diesen Boards wusste ich gar nichts, da kann die Himbeere nur noch 
durch Größe und Stromverbrauch punkten, weil 30W zu 3W sprechen doch 
noch recht deutlich

Die ASICs sind aber auch nur für Video de/encoden eines bestimmten Codex 
zu gebrauchen so weit ich informiert bin, es gibt aber nach wie vor noch 
keine Chips die mehrere Formate unterstützen, oder liege ich da falsch?

Interessant könnte noch das Parallela-Projekt werden, im Bezug auf den 
Stromverbrauch im Vergleich zur GPU

von adsf (Gast)


Lesenswert?

Hans Wilhelm schrieb:
> @asdf:
> FPGAs sind NIE energieeffizienter wie ein ASIC (bei einem fairen
> Vergleich)!

Naja, was ist ein fairer Vergleich in dem Fall? Wenn ich eine 
Grafikkarte komplett im FPGA nachbaue ists klar dass der schlechter ist. 
Wenn ich eine für die Aufgabe optimierte Recheneinheit in den FPGA lade 
kann es sein dass er die spezifische Aufgabe effizienter lösen kann.

von Hans W. (Firma: Wilhelm.Consulting) (hans-)


Lesenswert?

naja wenn der befehlssatz der gpu einigermaßen für die aufgabe ausgelegt 
ist, dann sollten die üblichen fpgas massiv probleme bekommen...

das schnellste was xilinx zu bieten hat ist nur mit ddr3 interfaces an 
externen speicher angebunden... memory-bound geschichten sollten da auf 
gddr5 grakas doch schneller sein... hängt wirklich davon ab was man 
machen will...

hoch spezialisierte befehlssätze in einem fpga können da durchaus 
helfen, nur ist das halt schon ein massiver aufwand.

wenn man sich z.B. das hier anschaut, wird dann klar das man sich doch 
eher um die algorithmen gedanken machen sollte als um die hardware:

http://create.stephan-brumme.com/crc32/

1.75 cycles per byte für eine crc kann man nicht mehr großartig 
schneller machen in hardware...

73

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.