• はてなブックマーク
  • テクノロジー
  • “統計の基礎を無視している”Hadoop使いが考えるビッグデータ
  • Twitterでシェア
  • Facebookでシェア

“統計の基礎を無視している”Hadoop使いが考えるビッグデータ

テクノロジー カテゴリーの変更を依頼 記事元:ascii.jp
適切な情報に変更
291users がブックマーク コメント 62
    共有

    • 記事へのコメント62件

    • 注目コメント
    • 新着コメント
    その他
    steel_eel
    1000人や2000人のサンプリングでは検出できない、1万人に1人とかの『例外』をきちんと検出して、例外って言っても日本に1万人くらい居るからな！と新しい商売に繋げるのがビックデータの活用だと思ってたが。

    その他
    AOI-CAT
    つまり統計学に頼らなくても、実用的な時間・処理で正確な値が出せるようになったってことだな。あと、例外とか外れデータは楽しい、役に立つかどうかは別で。

    その他
    masadream
    これexcellent。超冷静。最終パラグラフは確認必須→「そもそも統計学はビッグデータを不要にする技術なはず」

    その他
    sucrose
    機械学習的には，手法も大事だけどデータの量や質を改善しても結果が良くなると聞く．てきとうな手法で試す分にはデータが多いほうがうまくいくと思うけど……

    その他
    kazuph1986
    「統計をやっている人がビッグデータに関して沈黙しているのはデータを全部分析した方が正確なのを理解しているから。そこは確かに弱点だが裏ではビッグデータなんてなくても既存の統計で十分と思っているはず」

    その他
    tagomoris
    これ、よくアスキー載せたなｗ 日経には載らないだろうなあ

    その他
    EulerDijkstra
    いわゆるビッグデータの分布は汚くてスパース。統計の理論が通用しないかもだし、全体を分析する価値はある。俺は集計済みの統計的に扱いやすいデータを解析するべきというスタンス。ビッグデータはバズ。

    その他
    you21979
    「そもそも統計学はビッグデータを不要にする技術なはず」

    その他
    kuyo4sr
    統計。

    その他
    nanoha3
    ビッグデータで今出せる結果の信頼度が1%上がったことはどうでも良くて、今出せる結果以上に細かい結果が見えるようになったということが重要でしょ。より細かいケースが高い信頼度で見えるようになった。

    その他
    atyks
    『そもそも統計学はビッグデータを不要にする技術なはず』

    その他
    Kshi_Kshi
    Asakusa Framework

    その他
    witchstyle
    (2012/05/09の記事)

    その他
    pho
    すべてのTVにセンサーを付けるなら、視聴率を調べるんじゃなくてpersonalizeされた番組表を作ればいいと思うのだが、視聴率を調べるという発想から抜け出せない人がいるわけか。

    その他
    tgk
    「ワンショット数千万～1億円くらいだった分析系の案件も、数百万円台まで大きく下がっているのが実情」「これは顧客が分析に出す金がなくなっているのと、一度やったが投資対効果がなかったと判断している証拠」

    その他
    hazisarashi
    ビッグデータを超DISってるｗｗｗｗいいわｗｗｗｗ

    その他
    otchy210
    amazon は、統計的手法の効かない母数の少ないロングテールにすらレコメンドすることを可能にしたから儲かったんじゃないかな。とは言え、大半のケースで不要というこの記事の主張は揺るがないと思う。

    その他
    peketamin
    この人が言いたかったことは、性能を出しきるために採用したのがたまたまHadoopで、バズられずにちゃんと自分で道具の選定をしましょうね、ということなのかな、と思った

    その他
    richard_raw
    「そもそも統計学はビッグデータを不要にする技術なはず」おおー、一刀両断。

    その他
    suginoy
    ろくろの新しいトレンドになるか。

    その他
    gikazigo
    ASCII.jp：“統計の基礎を無視している”Hadoop使いが考えるビッグデータ｜百家争鳴！ビッグデータの価値を探る

    その他
    kazuph1986
    kazuph1986 「統計をやっている人がビッグデータに関して沈黙しているのはデータを全部分析した方が正確なのを理解しているから。そこは確かに弱点だが裏ではビッグデータなんてなくても既存の統計で十分と思っているはず」

    2012/05/10 リンク

    その他
    Makots
    ビッグデータに対するもやもや感を代弁してもらってる感じや

    その他
    eigokun
    写真も機嫌悪そう

    その他
    kamatamadai
    統計学に基づき適切なサンプリングをすればビックデータは要らないはず。リコメンドは特殊な例とのこと

    その他
    kenkoudayori
    ASCII.jp：“統計の基礎を無視している”Hadoop使いが考えるビッグデータ｜百家争鳴！ビッグデータの価値を探る

    その他
    Dursan
    「イベント」単位で収められてるデータを「人」単位までまとめないと困る時があるので、丸呑みにできないです。

    その他
    SasakiTakahiro
    ビッグデータはどんどん小さくなっている。

    その他
    gohantaberu
    企業から金を引き出すための言葉って毎年あるよね　それとおんなじ。少し前のweb2.0みたいなもんだｗ

    その他
    takuya_1st
    HadoopはCPUとディスクを使い切るための技術。それでFA。

    その他
    tak4hir0
    ASCII.jp：“統計の基礎を無視している”Hadoop使いが考えるビッグデータ｜百家争鳴！ビッグデータの価値を探る

    その他
    myopomme
    ニーズがあるから技術が生まれるはずが、技術のためにニーズを生み出す行為なのか？

    その他
    raimon49
    言ってることは頷けるけど、ギガバイトクラスのデータまでビッグデータって呼んでるのは、どこ界隈の話なんだ？　SIerでそうやって売り込んでるのかな。

    その他
    min2-fly
    "よく話題になるビッグデータの量に関しては、「当初はペタバイトクラスのデータと言っていたのに、そんなデータはないからと、テラバイト、ギガバイトまで容量が減ってきた" GBでビッグってことはないわな

    その他
    yuji1982
    完全に同意。そのうえで自分の仕事にHadoopがどこで活用できるかなぁ、と思ってる。

    その他
    hisyamichi
    そういう見方もあるよね

    その他
    abrahamcow
    基本的にはたぶん正論なんだろうけど「そもそも統計学はビッグデータを不要にする技術なはず」という書き方はちょっと変な気が（バイト的にはビッグだけど、サンプルサイズ的には足りない、みたいなことはあり得る）

    その他

    注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

    アプリのスクリーンショット
    いまの話題をアプリでチェック！
    • バナー広告なし
    • ミュート機能あり
    • ダークモード搭載
    アプリをダウンロード

    関連記事

    “統計の基礎を無視している”Hadoop使いが考えるビッグデータ

    Hadoopをバッチ処理の高速化に活用しているノーチラス・テクノロジーズは、ビッグデータのブームに真っ...

    ブックマークしたユーザー

    すべてのユーザーの
    詳細を表示します

    同じサイトの新着

    同じサイトの新着をもっと読む

    いま人気の記事

    いま人気の記事をもっと読む

    いま人気の記事 - テクノロジー

    いま人気の記事 - テクノロジーをもっと読む

    新着記事 - テクノロジー

    新着記事 - テクノロジーをもっと読む

    同時期にブックマークされた記事

    いま人気の記事 - 企業メディア

    企業メディアをもっと読む

    はてなブックマーク

    公式Twitter

    はてなのサービス

    • App Storeからダウンロード
    • Google Playで手に入れよう
    Copyright © 2005-2025 Hatena. All Rights Reserved.