『モãƒã‚²ãƒ¼ã®å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚°åŸºç›¤ã«ãŠã‘ã‚‹Hadoop活用ã€ï¼Hadoop Conference Japan 2011ï¼ #hcj2011
『モãƒã‚²ãƒ¼ã®å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚°åŸºç›¤ã«ãŠã‘ã‚‹Hadoop活用ã€ï¼Hadoop Conference Japan 2011ï¼ #hcj2011 『モãƒã‚²ãƒ¼ã®å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚°åŸºç›¤ã«ãŠã‘ã‚‹Hadoop活用ã€ï¼Hadoop Conference Japan 2011ï¼ #hcj2011 2011/02/22 [登壇後エントリ] ：" 「モãƒã‚²ãƒ¼ã®å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚°åŸºç›¤ã«ãŠã‘ã‚‹Hadoop活用ã€ï¼Hadoop Conference Japan 2011 #hcj2011 ã§ç™»å£‡ã—ã¦ãã¾ã—㟠" http://d.hatena.ne.jp/hamadakoichi/20110222/p1
NTTデータã®Hadoopå ±å‘Šæ›¸ãŒã™ã”ã‹ã£ãŸ - 科å¦ã¨éžç§‘å¦ã®è¿·å®®
æ¥ç•Œãƒˆãƒƒãƒ— ã®ã‚¨ãƒ³ã‚¿ãƒ¼ãƒ—ライズ Hadoop ä¼æ¥ Cloudera ã«å…¥ç¤¾ã—ã¾ã—㟠http://www.cloudera.co.jp/ 今年ã®6月ã«ã€ã€Œå¹³æˆï¼’１年度 産å¦é€£æºã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢å·¥å¦å®Ÿè·µäº‹æ¥å ±å‘Šæ›¸ã€ã¨ã„ã†ãƒ‰ã‚ュメント群ãŒçµŒç”£çœã‹ã‚‰å…¬è¡¨ã•ã‚Œã¾ã—ãŸã€‚ ãã®ã†ã¡ã®ä¸€ã¤ã«ã€NTTデータã«å§”託ã•ã‚ŒãŸHadoopã«é–¢ã™ã‚‹å®Ÿè¨¼å®Ÿé¨“ã®å ±å‘Šæ›¸ãŒã‚ã‚Šã¾ã—ãŸã®ã§ã€ä»Šæ›´ãªãŒã‚‰èªã‚“ã§ã¿ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ Hadoop界隈ã®äººã¯ã‚‚ã†ã¿ã‚“ãªã¨ã£ãã«èªã‚“ã§ã‚‹ã®ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“ã‘ã©ã€‚ http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf ã€Œé«˜ä¿¡é ¼ã‚¯ãƒ©ã‚¦ãƒ‰å®Ÿç¾ç”¨ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢é–‹ç™ºï¼ˆåˆ†æ•£åˆ¶å¾¡å‡¦ç†æŠ€è¡“ç‰ã«ä¿‚ã‚‹ãƒ‡ãƒ¼ã‚¿ã‚»ãƒ³ã‚¿ãƒ¼é«˜ä¿¡é ¼åŒ–ã«å‘ã‘ãŸå®Ÿè¨¼äº‹æ¥ï¼‰ã€ã¨ã„ã†
ãã®åˆ†æžã€Hadoopãªã‚‰é€Ÿã安ãã§ãã¾ã™
ビジãƒã‚¹ãƒ‡ãƒ¼ã‚¿ã‚’分æžã™ã‚‹ãƒ“ジãƒã‚¹ã‚¤ãƒ³ãƒ†ãƒªã‚¸ã‚§ãƒ³ã‚¹ï¼ˆBI）分野ã®æ–°ãŸãªãƒ—ラットフォームã¨ã—ã¦æ³¨ç›®ã•ã‚Œã¦ã„ã‚‹Hadoop。Hadoopã§ã¯ã€ã©ã®ã‚ˆã†ãªãƒ‡ãƒ¼ã‚¿åˆ†æžãŒå¯èƒ½ãªã®ã§ã—ょã†ã‹ï¼Ÿ ç¾åœ¨ã€Hadoopビジãƒã‚¹ã®ç‰½å¼•å½¹ã§ã‚ã‚‹Clouderaã®Jeff Hammerbracheræ°ãŒã€Hadoopã§ãƒ‡ãƒ¼ã‚¿åˆ†æžãŒå¯èƒ½ãªãƒ“ジãƒã‚¹ä¸Šã®èª²é¡Œã‚’示ã—ãŸã€Œ10 Common Hadoop-able problemsã€ï¼ˆHadoop化å¯èƒ½ãª10ã®ä¸€èˆ¬çš„課題）ã¨é¡Œã—ãŸãƒ—レゼンテーションを公開ã—ã¦ã„ã¾ã™ã€‚ Hadoopã«ã¨ã£ã¦å¾—æ„ãªå‡¦ç†ã¨ã¯ã€è¤‡é›‘ã§è¤‡æ•°ã®ãƒ‡ãƒ¼ã‚¿ã‚½ãƒ¼ã‚¹ã‹ã‚‰ãªã‚‹å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã®åˆ†æžã§ã‚ã‚Šã€ãれをãƒãƒƒãƒå‡¦ç†ã®ä¸¦åˆ—実行ã«ã‚ˆã£ã¦å®Ÿç¾ã™ã‚‹ã“ã¨ã§ã™ã€‚ 従æ¥ã¯ã€ãƒ‡ãƒ¼ã‚¿ãŒã‚ã¾ã‚Šã«è¤‡é›‘ã ã£ãŸã‚Šè†¨å¤§ã ã£ãŸã‚ã«ã€è¨ˆç®—時間やコストãªã©ã®ç†ç”±ã§å®Ÿç¾ãŒé›£ã—ã‹ã£ãŸå‡¦ç†ã§ã‚‚ã€Hadoopã«ã‚ˆã‚‹ä½Žã‚³ã‚¹ãƒˆåŒ–ã€è¨ˆç®—時間ã®çŸç¸®ã€é«˜ã„柔軟性ãªã©
KarmaSphereã§ãŠã˜ã•ã‚“ã«ã‚‚MapReduce(Java)ã§ã㟠- masayang's diary
ã“ã“æ•°å¹´Javaã‹ã‚‰ã¯é ã–ã‹ã£ã¦ã„ãŸã€‚ç†ç”±ã¯è‰²ã€…ã ã‘ã©ã€ãªã‚“ã‹é¢å€’ãã•ã„ã¨ã‹ã€ã‚ã®è¾ºãŒé¢å€’ã ãªã¨ã‹ã€annotationsãŒãªã‚“ã‹ä¸æ°—味ã§é¢å€’ã£ã½ã„ãªã¨ã‹ã€ã¾ã‚ãã†ã„ã†ã“ã¨ã§ã€‚ã‚ã¨ã‚³ãƒ³ãƒ‘イルã—ã¦jar作ã£ã¦ã¨ã‹ã€‚ãªã‚“ã‹æ˜”ãã®ç‰©ã˜ã‚ƒãªã„ã§ã™ã‹ã€‚ã‚ã€ã‚¨ãƒ‡ã‚£ã‚¿ã¯ãƒ•ãƒ«ã‚¹ã‚¯ãƒªãƒ¼ãƒ³ãªã®ï¼Ÿã€€ã‚«ãƒ¼ãƒ‰ç©¿å”æ©Ÿã¯ä¸è¦ãªã®ï¼Ÿã€€ãりゃã™ã”ã„。 ãã†ã„ã†ã“ã¨ã‚‚ã‚ã£ã¦æœ€è¿‘éŠã‚“ã§ã„ã‚‹MapReduceã¯Pythonã§ã‚¹ãƒˆãƒªãƒ¼ãƒŸãƒ³ã‚°ã®ã‚’書ãã“ã¨ã§ã»ã¼ç”¨ã¯è¶³ã‚Šã¦ã„ã‚‹ã®ã ã‘ã©ã€ã“ã®å…ˆã‚‚ã—ã‹ã—ãŸã‚‰Javaã§ã—ã‹å®Ÿç¾ã§ããªã„状æ³ã«è¿½ã„è¾¼ã¾ã‚Œã‚‹ã‹ã‚‚ã—れん。ãれをガリガリã¨ã‚³ãƒ¼ãƒ‰ã§æ›¸ãã®ã‹Pigã¨ã‚„らã§å®Ÿç¾ã—ã¡ã‚ƒã†ã®ã‹ã¯ã‚ã‹ã‚‰ã‚“ãŒã€ã§ã‚‚ã¾ã‚原ç†ã‚’çªãè©°ã‚ã‚‹ãŸã‚ã«ã‚³ãƒ¼ãƒ‰ã§è‹¦åŠ´ã—ã¦ãŠãã®ã¯æã¯ãªã„ã‹ãªã€ã¨ã€‚ãã®å ´åˆã¯Javaã§ã™ã‚ˆã‚„ã£ã±ã€‚ã§ã‚‚ãã€Javaã£ã¦é¢å€’ã˜ã‚ƒãªã„ã§ã™ã‹ã€‚ã‚ã®è¾ºã¨ã‹ãã®è¾ºã¨ã‹ã€‚ ãã‚“ãªè‡ªåˆ†ã®è„³è£ã«KarmaSpher
ヤフーを変ãˆå§‹ã‚ãŸHadoop
ヤフーãŒæ—¥æœ¬ç‹¬è‡ªã®æ¤œç´¢é–¢é€£ã‚µãƒ¼ãƒ“スã®é–‹ç™ºã§ã€ã‚ªãƒ¼ãƒ—ンソースã®åˆ†æ•£å‡¦ç†ã‚½ãƒ•ãƒˆã§ã‚る「Hadoopã€ã®æ´»ç”¨ã‚’進ã‚ã¦ã„る。Hadoopを使ã†ã“ã¨ã§ã€å¾“æ¥ã¯6時間以上ã‹ã‹ã£ãŸå‡¦ç†ãŒã‚ãšã‹5分åŠã§æ¸ˆã‚€ã‚ˆã†ã«ãªã£ãŸä¾‹ã‚‚ã‚る。2009年秋ã«ã¯çµ„織を整備ã—ã€é©ç”¨ç¯„囲を全社ã«åºƒã’ã¦ã„る。 Hadoopã¯ã€ç±³ã‚°ãƒ¼ã‚°ãƒ«ãŒé–‹ç™ºã—ãŸåˆ†æ•£å‡¦ç†ã‚½ãƒ•ãƒˆã€ŒGoogle File System（GFS）ã€ã¨ã€ŒMapReduceã€ã‚’模ã—ãŸã‚ªãƒ¼ãƒ—ンソースソフトã§ã‚る（図）。GFSã¨MapReduceã¯ã€ã‚°ãƒ¼ã‚°ãƒ«ã®ã‚¯ãƒ©ã‚¦ãƒ‰ã‚’支ãˆã‚‹åŸºç›¤æŠ€è¡“。Hadoopを使ã†ã¨ã€è¤‡æ•°å°ã®å®‰ä¾¡ãªPCサーãƒãƒ¼ã‚’連æºã•ã›ã€æ•°åテラ～数ペタãƒã‚¤ãƒˆã«åŠã¶ãƒ‡ ータを高速ã«å‡¦ç†ã§ãる。 Hadoopを日本国内ã§æœ€ã‚‚ç©æ¥µçš„ã«åˆ©ç”¨ã—ã¦ã„ã‚‹ä¼æ¥ã¯ãƒ¤ãƒ•ãƒ¼ã 。2008å¹´ã”ã‚ã‹ã‚‰éƒ¨ç½²å˜ä½ã§Hadoopã®å°Žå…¥ã‚’進ã‚ã€Hadoopを使ã†äº‹ä¾‹ãŒ10件を超ãˆã‚‹ã‚ˆã†ã«ãªã£ãŸï¼ˆè¡¨ï¼‰ã€‚
Hadoopã‚’æ¥å‹™ã§ä½¿ã£ã¦ã¿ãŸè©± - クックパッド開発者ブãƒã‚°
8月ã«å…¥ç¤¾ã—ãŸä½ã€…木ã§ã™ã€‚ã“ã‚“ã«ã¡ã‚ï¼ å…¥ç¤¾ã—ã¦ã‹ã‚‰ã¯Hadoopを使ã†ã“ã¨ãŒå¤šãã€æ—¥ã€…ã€å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã¨æ ¼é—˜ã—ã¦ã„ã¾ã™ã€‚大変ã§ã¯ã‚ã‚Šã¾ã™ãŒã€å€‹äººã§ã¯ãªã‹ãªã‹è§¦ã‚‹ã“ã¨ãŒå‡ºæ¥ãªã„よã†ãªå¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’触れるã®ã¯æ¥½ã—ã„ã§ã™ã€‚ ã•ã¦ã€Hadoopã¯æœ€è¿‘色々ãªã¨ã“ã‚ã§ä½¿ã‚れ始ã‚ã¦ãã¦ã„ã‚‹ã¨æ€ã†ã‚“ã§ã™ãŒã€å®Ÿéš›ã«åˆ©ç”¨ã—ã¦ã¿ã¦å›°ã£ãŸäº‹ã‚„tipsãªã©ã€å®Ÿè·µçš„ãªæƒ…å ±ã¯ã¾ã ã‚ã¾ã‚Šå…¬é–‹ã•ã‚Œã¦ã„ã¾ã›ã‚“。ãã®è¾ºã®æƒ…å ±ã‚’ã¿ã‚“ãªæ±‚ã‚ã¦ã„ã‚‹ã¯ãšâ€¦ï¼ï¼ ãã“ã§ã€åƒ•ãŒå®Ÿéš›ã«è§¦ã£ã¦ã¿ã¦å›°ã£ãŸäº‹ã‚„Hadoopを使ã†ä¸Šã§ãƒã‚¤ãƒ³ãƒˆã ã¨æ€ã£ãŸã“ã¨ãªã©ã‚’社内勉強会ã§ç™ºè¡¨ã—ãŸã®ã§å…¬é–‹ã—ã¦ã¿ã¾ã™ã€‚Hadoopを使ã£ã¦ã„る（使ã„ãŸã„ã¨æ€ã£ã¦ã„る）方ã®å‚考ã«ãªã‚Œã°å¹¸ã„ã§ã™ã€‚ [slideshare id=2711363&doc=20091214techblog-091213183529-phpapp02] Hadoopã®åˆ©ç”¨ã¯ã¾ã ã¾ã 試行錯誤ã®é€£ç¶š
Hadoopã®æœ€æ–°å‹•å‘を「Hadoop World:NY 2009ã€ã®è³‡æ–™ã‹ã‚‰ï¼ˆå‰ç·¨ï¼‰
Hadoopã¯ã€ã‚°ãƒ¼ã‚°ãƒ«ãŒå¤§è¦æ¨¡åˆ†æ•£ã‚·ã‚¹ãƒ†ãƒ ã®ãŸã‚ã«ç”¨ã„ã¦ã„ã‚‹MapReduceã¨ã„ã†æŠ€è¡“ã‚’ã€ã‚ªãƒ¼ãƒ—ンソースã¨ã—ã¦å®Ÿç¾ã™ã‚‹ãŸã‚ã«é–‹ç™ºã•ã‚ŒãŸJavaベースã®ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã§ã™ã€‚開発ãŒå§‹ã¾ã£ãŸã®ã¯2005å¹´é ƒã§ã€å½“時Yahoo!ã«æ‰€å±žã—ç¾åœ¨ã¯Clouderaã«æ‰€å±žã™ã‚‹Doug Cuttingæ°ãŒä¸å¿ƒã¨ãªã£ã¦é€²ã‚ã¦ãã¾ã—ãŸã€‚ HadoopãŒå®Ÿç¾ã™ã‚‹MapReduce処ç†ã¨ã¯ã€ç°¡å˜ã«ã„ãˆã°å¤§é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’å°ã•ã分割ã—ã¦å¤šæ•°ã®ãƒŽãƒ¼ãƒ‰ã«å‰²ã‚Šå½“ã¦ï¼ˆMap処ç†ï¼‰ã€å„ノードã§å‡¦ç†ã‚’è¡Œã£ãŸã‚‰ãれを集約ã—ã¦çµæžœã‚’出ã™ï¼ˆReduce処ç†ï¼‰ã€ã¨ã„ã†åˆ†æ•£å‡¦ç†ã®æ–¹æ³•ã§ã™ã€‚数テラãƒã‚¤ãƒˆã«ã‚‚ãŠã‚ˆã¶å¤§å®¹é‡ã®ãƒ‡ãƒ¼ã‚¿ã‚’高速ã‹ã¤ä½Žã‚³ã‚¹ãƒˆã«åˆ†æ•£å‡¦ç†ã™ã‚‹æ–¹æ³•ã¨ã—ã¦æ³¨ç›®ã‚’集ã‚ã¦ã„ã¾ã™ã€‚ ニューヨークã§Hadoop WorldãŒé–‹å‚¬ã•ã‚Œã‚‹ ãã®Hadoopã®ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã€ŒHadoop World：NY 2009ã€ãŒ10月2æ—¥ã«ãƒ‹ãƒ¥ãƒ¼ãƒ¨ãƒ¼ã‚¯ã§
blog.katsuma.tv
å‰å›žã€JavaScriptã§Map Reduceã®ã‚³ãƒ¼ãƒ‰ãŒæ›¸ã‘ã‚‹Hadoop Streamingã«ã¤ã„ã¦ç´¹ä»‹ã—ã¾ã—ãŸã€‚ 標準入出力ã•ãˆã‚µãƒãƒ¼ãƒˆã•ã‚Œã¦ã‚ã‚Œã°ã€ä»»æ„ã®ã‚³ãƒ¼ãƒ‰ã§Map Reduuceã®å‡¦ç†ãŒæ›¸ã‘ã‚‹ã€ã¨ã„ã†ã‚‚ã®ã§ã—ãŸãŒã€ã‚¨ãƒ³ã‚¸ãƒ‹ã‚¢ã¯ãã‚‚ãã‚‚é¢å€’ãã•ãŒã‚Šã€‚コードも書ãã®ã‚‚é¢å€’ã§ã™ã€‚ ã¨ã€ã„ã†ã‚ã‘ã§ã€ä»Šå›žã¯ã‚‚ã†ã‚³ãƒ¼ãƒ‰ã™ã‚‰æ›¸ã‹ãšã«SQLライクã§Map Reduceã§ãã‚‹Hiveã¨ã„ã†ãƒ—ãƒãƒ€ã‚¯ãƒˆã«ã¤ã„ã¦ã€ã¾ã¨ã‚ãŸã„ã¨æ€ã„ã¾ã™ã€‚ Hive Hiveã¨ã¯ã€ç°¡å˜ã«è¨€ã†ã¨Hadoop上ã§å‹•ä½œã™ã‚‹RDBã®ã‚ˆã†ãªã‚‚ã®ã§ã™ã€‚ HDFSãªã©ã®åˆ†æ•£ãƒ•ã‚¡ã‚¤ãƒ«ã‚·ã‚¹ãƒ†ãƒ 上ã«å˜åœ¨ã™ã‚‹ãƒ‡ãƒ¼ã‚¿ã«å¯¾ã—ã¦ã€HiveQLã¨ã„ã†SQLライクãªè¨€èªžã§æ“作ã§ãã¾ã™ã€‚ ã§ã€é¢ç™½ã„ã®ãŒHiveQLã®æ“作ã¯åŸºæœ¬çš„ã«Map Reduceã®ãƒ©ãƒƒãƒ‘ーã«ãªã£ã¦ã„ã‚‹ã“ã¨ã€‚ è¦ã™ã‚‹ã«ã€SELECT文実行ã™ã‚‹ã¨è£ã§Map&Reduceã®ã‚¿ã‚¹ã‚¯ãŒèµ°ã‚Šå‡º
Rubyã§Hadoopをラップã€åˆ†æ•£å‡¦ç†ãƒ„ールã‚ットãŒç™»å ´ ï¼ ï¼ IT
2009/05/12 米新èžç¤¾å¤§æ‰‹ã®ãƒ‹ãƒ¥ãƒ¼ãƒ¨ãƒ¼ã‚¯ãƒ»ã‚¿ã‚¤ãƒ ズã¯5月11æ—¥ã€Rubyã«ã‚ˆã‚‹å¤§è¦æ¨¡åˆ†æ•£å‡¦ç†ã®ãƒ„ールã‚ット「Map/Reduce Toolkitã€ï¼ˆMRToolkit）をGPLv3ã®ä¸‹ã«ã‚ªãƒ¼ãƒ—ンソースã§å…¬é–‹ã—ãŸã¨ç™ºè¡¨ã—ãŸã€‚MRToolkitã¯ã€ã™ã§ã«ç¨¼åƒã—ã¦ã„るクラスタ上ã®Hadoopã¨åˆã‚ã›ã¦ä½¿ã†ã“ã¨ã§Rubyã§å®¹æ˜“ã«Map/Reduce処ç†ã‚’記述ã™ã‚‹ã“ã¨ãŒã§ãる一種ã®ãƒ©ãƒƒãƒ‘ー。処ç†è‡ªä½“ã¯HadoopãŒè¡Œã†ã€‚ã™ã§ã«Hadoopを使ã£ã¦ã„るユーザーã§ã‚ã‚Œã°ã€ä¸å°è¦æ¨¡ã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã«å¯¾ã—ã¦ã€ã™ãã«MRToolkitã‚’é©ç”¨å¯èƒ½ã¨ã—ã¦ã„る。 デフォルトã§æœ‰ç”¨ãªMapã€Reduceã®å‡¦ç†ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ãŒå«ã¾ã‚Œã¦ã„ã¦ã€æ•°è¡Œã®Rubyスクリプトを書ãã ã‘ã§ã€ä¾‹ãˆã°è†¨å¤§ãªApacheã®ãƒã‚°ã‹ã‚‰IPアドレス別ã®é–²è¦§å±¥æ´ã‚’ã¾ã¨ã‚ã‚‹ã¨ã„ã£ãŸå‡¦ç†ãŒå¯èƒ½ã¨ã„ã†ã€‚独自ã«Mapã‚„Reduceã®å‡¦ç†ã‚’定義ã™ã‚‹ã“ã¨ã‚‚
Amazon Elastic MapReduceを使ã£ã¦ã¿ãŸ - moratorium
Amazon Elastic MapReduceを使ã£ã¦ã¿ãŸ 2009-04-03 (Fri) 3:06 Amazon EC2 連日ã®EC2ãƒã‚¿ã§ã™ã€‚本日ã€Amazonã‹ã‚‰Elastic MapReduceã¨ã„ã†ã‚µãƒ¼ãƒ“スãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚Œã¾ã—ãŸã€‚大è¦æ¨¡ãƒ‡ãƒ¼ã‚¿å‡¦ç†æŠ€è¡“ãŒä¸€æ°—ã«æ°‘é–“ã®æ‰‹ã«ä¸‹ã‚Šã¦ãã‚‹ã€ã¾ã•ã«é©å‘½çš„ãªã‚µãƒ¼ãƒ“スã ã¨æ€ã„ã¾ã™ã€‚ Amazon Elastic MapReduce Amazon ElasticMapReduce 紹介ビデオ With Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer by techcrunch.com Elastic MapReduceã¯ã€Googleã®åŸºç›¤æŠ€è¡“ã®ä¸€ã¤ã§ã‚ã‚‹MapReduceを時間å˜ä½èª²é‡‘ã§å®Ÿè¡Œã§ãるサービスã§ã™ã€‚MapReduceã«ã¤ã„ã¦ã¯ä»¥
アマゾンã€ã‚¦ã‚£ã‚¶ãƒ¼ãƒ‰ã ã‘ã§ä½¿ãˆã‚‹Hadoopサービス開始 ï¼ ï¼ IT
2009/04/02 米アマゾンã®å会社ã€Amazon Web Services（AWS）ã¯4月2æ—¥ã€å¤šæ•°ã®OSインスタンスを起動ã—ã¦å¤§è¦æ¨¡åˆ†æ•£å‡¦ç†ã‚’è¡Œãˆã‚‹ã€ŒAmazon Elastic MapReduceã€ã®ãƒ™ãƒ¼ã‚¿ã‚µãƒ¼ãƒ“スを開始ã—ãŸã€‚ Amazon Elastic MapReduceã¯ã€ã‚ªãƒ¼ãƒ—ンソースã®åˆ†æ•£å‡¦ç†ãƒ•ãƒ¬ãƒ¼ãƒ ワークApache Hadoop 0.18.3を利用ã—ãŸã‚µãƒ¼ãƒ“スã§ã€Webブラウザベースã®ç®¡ç†ã‚³ãƒ³ã‚½ãƒ¼ãƒ«ã‚„コマンドラインツールã€APIを使ã£ã¦ã‚¸ãƒ§ãƒ–を投入ã™ã‚‹ã“ã¨ã§ã€å¤§é‡ãƒ‡ãƒ¼ã‚¿ã®è§£æžã‚„計算é‡ã®å¤šã„科å¦è¨ˆç®—ã€çµ±è¨ˆå‡¦ç†ãŒå¯èƒ½ã€‚大é‡ã®ãƒã‚°å‡¦ç†ã‚„機械å¦ç¿’ã€é‡‘èžè¨ˆç®—ã€ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚°ã€Webサイトã®ã‚¤ãƒ³ãƒ‡ã‚¯ã‚·ãƒ³ã‚°å‡¦ç†ãªã©ã«ä½¿ãˆã‚‹ã¨ã„ã†ã€‚ ジョブを処ç†ã™ã‚‹ãƒŽãƒ¼ãƒ‰ã¯ã€å¾“æ¥ã‹ã‚‰AWSãŒæä¾›ã—ã¦ã„ã‚‹Amazon EC2ã§ç¨¼åƒã—ã€ãƒ‡ãƒ¼ã‚¿ã®å…¥å‡ºåŠ›ã«ã¯Amazon S3ãŒä½¿ãˆã‚‹ã€‚データã®å…¥åŠ›ã«ã¯ã‚¤
Hadoop Streaming - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼
id:naoya:20080511:1210506301 ã®ã‚¨ãƒ³ãƒˆãƒªã®ã‚³ãƒ¡ãƒ³ãƒˆæ¬„㧠kzk ã•ã‚“ã«æ•™ãˆã¦ã„ãŸã ã„㟠Hadoop Streaming を試ã—ã¦ã„ã¾ã™ã€‚ Hadoop ã¯ã‚ªãƒ¼ãƒ—ンソース㮠MapReduce + 分散ファイルシステムã§ã™ã€‚Java ã§ä½œã‚‰ã‚Œã¦ã„ã¾ã™ã€‚Yahoo! Inc ã®ãƒãƒƒã‚¯ã‚¨ãƒ³ãƒ‰ã‚„ã€Facebookã€Amazon.com ãªã©ã§ã‚‚利用ã•ã‚Œã¦ã„ã‚‹ã¨ã®ã“ã¨ã§ã™ã€‚詳ã—ã㯠http://codezine.jp/a/article/aid/2448.aspx (kzk ã•ã‚“ã«ã‚ˆã‚‹é€£è¼‰è¨˜äº‹)ã‚’å‚ç…§ã—ã¦ãã ã•ã„。 Hadoop Streaming 記事ã«ã‚‚ã‚ã‚Šã¾ã™é€šã‚Šã€Hadoop 拡張㮠Hadoop Streaming を使ã†ã¨æ¨™æº–入出力を介ã™ã‚‹ãƒ—ãƒã‚°ãƒ©ãƒ を記述ã™ã‚‹ã ã‘ã§ã€Hadoop ã«ã‚ˆã‚‹ MapReduce を利用ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ã€‚ã¤ã¾ã‚Šã€Java 以外
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}