丸山先生のレクチャーシリーズ「Googleの分散処理技術」

丸山先生のレクチャーシリーズにいってきました。

分散処理どころか、並列処理すら素人なので勉強になりました。
分散処理→多数のCPUに処理させる
並列処理→1CPUにスレッド多数

簡単に自分向きのメモ。

• 1000人で巨大な鶴を折るより、1000人で千羽鶴を折るほうが分散に向いてる。
• つまり、同一のプログラムを
• 各worker同士の情報の交換なしに
• 任意の集合nに対して同一の結果
• が出るような処理が分散に向いている。

MapReduceは実は、
Map→sort→partitioning→Reduce
の順番

足を引っ張る(とろい)workerに処理速度が依存してしまうので、
他のworkerは自分の処理が終わって、ある一定の境界をこえたら、
足を引っ張るworkerと同じ処理をする。
それで、40%くらい早くなったとこと。

やっぱ興味があることだと、大学の授業っぽい感じでも面白いんだな。