Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
Daisuke Yamazaki
PPTX, PDF
36,779 views
スケールアウト再考
数千億アクセスをさばくための考え方についてまとめました。
Engineering
◦
Read more
128
Save
Share
Embed
Embed presentation
Download
Downloaded 76 times
1
/ 32
2
/ 32
3
/ 32
4
/ 32
5
/ 32
6
/ 32
7
/ 32
8
/ 32
9
/ 32
10
/ 32
11
/ 32
12
/ 32
13
/ 32
14
/ 32
15
/ 32
16
/ 32
17
/ 32
18
/ 32
19
/ 32
20
/ 32
21
/ 32
22
/ 32
23
/ 32
24
/ 32
25
/ 32
26
/ 32
27
/ 32
28
/ 32
29
/ 32
30
/ 32
31
/ 32
32
/ 32
More Related Content
PPTX
WayOfNoTrouble.pptx
by
Daisuke Yamazaki
PPTX
Ruby World Conference 2019 rubyによる超大量データ配信
by
Daisuke Yamazaki
PPTX
今まで学び実践してきたこと
by
Daisuke Yamazaki
PDF
セールスアニマルになろう スタートアップ初期の営業戦略
by
Takaaki Umada
PDF
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
by
Yoshiki Hayama
PDF
組織にテストを書く文化を根付かせる戦略と戦術
by
Takuto Wada
PDF
MySQL 5.7 トラブルシューティング 性能解析入門編
by
Mikiya Okuno
PDF
SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)
by
Takuto Wada
WayOfNoTrouble.pptx
by
Daisuke Yamazaki
Ruby World Conference 2019 rubyによる超大量データ配信
by
Daisuke Yamazaki
今まで学び実践してきたこと
by
Daisuke Yamazaki
セールスアニマルになろう スタートアップ初期の営業戦略
by
Takaaki Umada
45分間で「ユーザー中心のものづくり」ができるまで詰め込む
by
Yoshiki Hayama
組織にテストを書く文化を根付かせる戦略と戦術
by
Takuto Wada
MySQL 5.7 トラブルシューティング 性能解析入門編
by
Mikiya Okuno
SQLアンチパターン - 開発者を待ち受ける25の落とし穴 (拡大版)
by
Takuto Wada
What's hot
PDF
今なら間に合う分散型IDとEntra Verified ID
by
Naohiro Fujie
PDF
マルチテナントのアプリケーション実装〜実践編〜
by
Yoshiki Nakagawa
PDF
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
by
Takuto Wada
PDF
SQLアンチパターン - ナイーブツリー
by
ke-m kamekoopa
PDF
より速く より運用しやすく 進化し続けるJVM(Java Developers Summit Online 2023 発表資料)
by
NTT DATA Technology & Innovation
PDF
PostgreSQL:行数推定を読み解く
by
Hiroya Kabata
PDF
PlaySQLAlchemy: SQLAlchemy入門
by
泰 増田
PDF
DDD x CQRS 更新系と参照系で異なるORMを併用して上手くいった話
by
Koichiro Matsuoka
PDF
Software Frontloading and QA
by
Yasuharu Nishi
PDF
TDD のこころ @ OSH2014
by
Takuto Wada
PDF
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
by
NTT DATA OSS Professional Services
PDF
LogbackからLog4j 2への移行によるアプリケーションのスループット改善 ( JJUG CCC 2021 Fall )
by
Hironobu Isoda
PDF
PostgreSQLアンチパターン
by
Soudai Sone
PDF
大規模システムリプレイスへの道
by
Recruit Lifestyle Co., Ltd.
PDF
Cognito、Azure ADと仲良くしてみた
by
Takafumi Kondo
PDF
MySQLで論理削除と正しく付き合う方法
by
yoku0825
PDF
Test Yourself - テストを書くと何がどう変わるか
by
Takuto Wada
PDF
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
by
Kentaro Yoshida
PDF
デキるプログラマだけが知っているコードレビュー7つの秘訣
by
Masahiro Nishimi
PDF
イミュータブルデータモデル(世代編)
by
Yoshitaka Kawashima
今なら間に合う分散型IDとEntra Verified ID
by
Naohiro Fujie
マルチテナントのアプリケーション実装〜実践編〜
by
Yoshiki Nakagawa
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
by
Takuto Wada
SQLアンチパターン - ナイーブツリー
by
ke-m kamekoopa
より速く より運用しやすく 進化し続けるJVM(Java Developers Summit Online 2023 発表資料)
by
NTT DATA Technology & Innovation
PostgreSQL:行数推定を読み解く
by
Hiroya Kabata
PlaySQLAlchemy: SQLAlchemy入門
by
泰 増田
DDD x CQRS 更新系と参照系で異なるORMを併用して上手くいった話
by
Koichiro Matsuoka
Software Frontloading and QA
by
Yasuharu Nishi
TDD のこころ @ OSH2014
by
Takuto Wada
PostgreSQL10を導入!大規模データ分析事例からみるDWHとしてのPostgreSQL活用のポイント
by
NTT DATA OSS Professional Services
LogbackからLog4j 2への移行によるアプリケーションのスループット改善 ( JJUG CCC 2021 Fall )
by
Hironobu Isoda
PostgreSQLアンチパターン
by
Soudai Sone
大規模システムリプレイスへの道
by
Recruit Lifestyle Co., Ltd.
Cognito、Azure ADと仲良くしてみた
by
Takafumi Kondo
MySQLで論理削除と正しく付き合う方法
by
yoku0825
Test Yourself - テストを書くと何がどう変わるか
by
Takuto Wada
Fluentd, Digdag, Embulkを用いたデータ分析基盤の始め方
by
Kentaro Yoshida
デキるプログラマだけが知っているコードレビュー7つの秘訣
by
Masahiro Nishimi
イミュータブルデータモデル(世代編)
by
Yoshitaka Kawashima
Viewers also liked
PDF
30分でわかる広告エンジンの作り方
by
Daisuke Yamazaki
PPT
アドテク案件入門講座 8月20日(公開版)
by
伊藤 孝
PPTX
高速な広告配信サーバの作り方のコツ
by
Innami Satoshi
PPT
RailsとCで広告システムを作って起業した話
by
Daisuke Yamazaki
PDF
ソフトウェアエンジニアに知ってほしいAerospike
by
株式会社ジオロジック
PDF
メディアマネタイズは次の世界へ。プライベートマーケットプレイス超入門
by
Shoho Kozawa
PPTX
WebRTCサービスを個人で運営してみた話
by
Junki Mizushima
PDF
フルスクラッチで書いたアドサーバの開発運用史
by
Innami Satoshi
PPTX
HTTPとサーバ技術の最新動向
by
Kazuho Oku
PPTX
STFとAppiumをもちいたAndroidアプリの自動テスト
by
Toshiyuki Hirata
PPTX
HTTPプロキシによるゼロダウンタイムなアドサーバー移行
by
Ryo Aita
KEY
機関車トーマスで説明するRTB
by
Hisatoshi Kikumoto
PPT
Rtb30min
by
Daisuke Yamazaki
KEY
広告の最適化
by
章平 福井
PDF
Extra view @ kyobashi.swift
by
Keisuke Tsukagoshi
PDF
Practical ngx_mruby
by
Hiroshi SHIBATA
PDF
JavaScript Unit Test Why? What? How?
by
Teppei Sato
PDF
Goでwebアプリを開発してみよう
by
Takuya Ueda
PDF
ソノアプリ リジェクト サレルッテヨ
by
Keisuke Tsukagoshi
PDF
アサマスタークロスウォーク2010
by
Takayuki TERASHIMA
30分でわかる広告エンジンの作り方
by
Daisuke Yamazaki
アドテク案件入門講座 8月20日(公開版)
by
伊藤 孝
高速な広告配信サーバの作り方のコツ
by
Innami Satoshi
RailsとCで広告システムを作って起業した話
by
Daisuke Yamazaki
ソフトウェアエンジニアに知ってほしいAerospike
by
株式会社ジオロジック
メディアマネタイズは次の世界へ。プライベートマーケットプレイス超入門
by
Shoho Kozawa
WebRTCサービスを個人で運営してみた話
by
Junki Mizushima
フルスクラッチで書いたアドサーバの開発運用史
by
Innami Satoshi
HTTPとサーバ技術の最新動向
by
Kazuho Oku
STFとAppiumをもちいたAndroidアプリの自動テスト
by
Toshiyuki Hirata
HTTPプロキシによるゼロダウンタイムなアドサーバー移行
by
Ryo Aita
機関車トーマスで説明するRTB
by
Hisatoshi Kikumoto
Rtb30min
by
Daisuke Yamazaki
広告の最適化
by
章平 福井
Extra view @ kyobashi.swift
by
Keisuke Tsukagoshi
Practical ngx_mruby
by
Hiroshi SHIBATA
JavaScript Unit Test Why? What? How?
by
Teppei Sato
Goでwebアプリを開発してみよう
by
Takuya Ueda
ソノアプリ リジェクト サレルッテヨ
by
Keisuke Tsukagoshi
アサマスタークロスウォーク2010
by
Takayuki TERASHIMA
Recently uploaded
PDF
サーバーサイド Kotlin を社内で普及させてみた - Server-Side Kotlin Night 2025
by
Hirotaka Kawata
PDF
0.0001秒の攻防!?快適な運転を支えるリアルタイム制御と組み込みエンジニアの実践知【DENSO Tech Night 第四夜】
by
dots.
PDF
Kubernetes Release Team Release Signal Role について ~Kubernetes Meetup Tokyo #72~
by
Keisuke Ishigami
PDF
Backlog World 2025_抜け漏れは、努力でなく仕組みでなくす.pdf
by
Flyke1
PPTX
【ASW22-01】STAMP:STPAロスシナリオの発想・整理支援ツールの開発 ~astah* System Safetyによる構造化・階層化機能の実装...
by
csgy24013
PDF
Rin Ukai_即興旅行の誘発を目的とした口コミ情報に基づく雰囲気キーワード_EC2025.pdf
by
Matsushita Laboratory
PDF
Nanami Doikawa_寄り道の誘発を目的とした旅行写真からのスポット印象語彙の推定に関する基礎検討_EC2025
by
Matsushita Laboratory
サーバーサイド Kotlin を社内で普及させてみた - Server-Side Kotlin Night 2025
by
Hirotaka Kawata
0.0001秒の攻防!?快適な運転を支えるリアルタイム制御と組み込みエンジニアの実践知【DENSO Tech Night 第四夜】
by
dots.
Kubernetes Release Team Release Signal Role について ~Kubernetes Meetup Tokyo #72~
by
Keisuke Ishigami
Backlog World 2025_抜け漏れは、努力でなく仕組みでなくす.pdf
by
Flyke1
【ASW22-01】STAMP:STPAロスシナリオの発想・整理支援ツールの開発 ~astah* System Safetyによる構造化・階層化機能の実装...
by
csgy24013
Rin Ukai_即興旅行の誘発を目的とした口コミ情報に基づく雰囲気キーワード_EC2025.pdf
by
Matsushita Laboratory
Nanami Doikawa_寄り道の誘発を目的とした旅行写真からのスポット印象語彙の推定に関する基礎検討_EC2025
by
Matsushita Laboratory
スケールアウト再考
1.
スケールアウト再考 〜数千億アクセスへの道〜 Supership 山崎大輔(@yamaz)
2.
山崎大輔(@yamaz) Supership 取締役 (旧Scaleout代表) Scaleoutはnanapi, Bitcellerと合併して Supershipになりました。 広告システムと検索システム作ってます。
3.
広告システムについて システム : インターネット広告システム アクセス
: 月間数千億〜 サーバ台数: 1000台程度 レスポンス : 〜100msec ユーザ数 : 数億UU〜 上記のシステムを安定運用するための考え方 について話したいと思います。
4.
現在のインターネット 広告配信の仕組み 4 DSP メディア側広告サーバ(SSP) DSP DSP ③ビッディング ①広告Request ②オークション 開催 ブラウザ
④広告Result 広告1配信(1imp)ごとにオークションを行う
5.
(参考)弊社採用のソフトウェア群 配信系: nginx, apache,
独自エンジン(C++) KVS: memcached, 独自KVS(tokyocabinetベース) 集計: hadoop, hive, spark, vertica 管理画面: Ruby On Rails DB : PostgreSQL ほぼオンプレ
6.
いきなりですが、質問です。
7.
いつも10人並んでるATMが1台があります. ここで新たにATMを1台足すと行列の数はどうな るでしょう? ATM ATM ATM
8.
答え だいたい0人に近づいていく
9.
いつも10人並んでるATMとは → 単位時間に到着する人数とATMが 処理できる人数が釣り合ってるということ いつも10人 ATM
10.
ATMが1台増えると? → ATMが処理できる人数の方が多くなる → 行列の数がどんどん減っていく →
最終的に0人になる ATM ATM
11.
ATMの処理性能 < 到着数の時 処理が間に合ってないってことな ので、行列がどんどん増えて 最終的にめちゃくちゃ遅くなる
12.
ATMの処理性能 > 到着数の時 処理が間に合ってるってことなの で、行列がどんどん減って最終的 には0に近づく
13.
リトルの公式(Little’s formula) 平均の待ち行列の数 L =
λ * W L: システムの平均待ち行列数 λ: システムの平均到着率 W: システムの平均待ち時間
14.
ここまでのまとめ イイネ! システムの処理性能 > アクセス ヨクナイネ! システムの処理性能
< アクセス
15.
スケールアップとスケールアウト
16.
スケールアップとスケールアウト どちらも システムの処理性能 > アクセス を維持するための手法
17.
スケールアップとスケールアウト スケールアップ: システムの処理性能 > アクセス になるまでサーバをパワーアップ スケールアウト: システムの処理性能
> アクセス になるまでサーバを増やす
18.
スケールアウトという手法 システムの処理性能 > アクセス になるまでサーバを増やす ではなく システムの処理性能
> アクセス になるまで1台あたりのアクセスとデータ量を減らす と考えてみる
19.
(おさらい)システムの処理性能 < アクセス →
待ち行列がどんどん増えていく → システムはどんどん遅くなる ATM
20.
システムの処理性能 < アクセス 1%しか超えてなくても、この状態が ずーっと続く限りは待ち行列は永遠に 増える →システムは無限に遅くなる
21.
スケールアウトあるある 応答速度が10倍遅くなった! えぇっ?10倍サーバを足す必要があるの?? →必要ありません システムの処理性能 > アクセス を満たせばいいので、大抵の場合数割の増強で 事足りるはず
22.
逆を言うと? 1台あたり数割の性能劣化が10倍以上の速度 低下をもたらす可能性がある!!
23.
ミドルウェアの選定基準 ピーク性能ではなく、性能の安定度(分散の小 ささ)に着目する パフォーマンスが不安定なものはピーク性能が 良くても良くないものだと考える
24.
性能の分散が小さい =制御しやすい ソフトA ソフトB 性能高性能低 品質工学の考え方: ソフトBのほうがよいと考える
25.
ミドルウェアの選定基準 1. 複雑な機構を持ったものを避け、単純なもの を採用する 2. GCやデータリバランスなどコントロールしにく い挙動のものを避ける 「やかんは壊れない」の心意気
26.
スケールアウトあるある システムは設計を端折ったところからほころび 始める。 あらゆる箇所が現在の100倍になっても大丈夫 か確認しましょう。
27.
スケールアウトあるある 処理能力を超えると一気にダメになる 対策: - ピークアクセス時の予兆を見逃さない - カナリアサーバの準備 -
アクセスの強制的な平滑化
28.
スケールアウトあるある 処理能力を超えると一気にダメになる 対策: - ピークアクセス時の予兆を見逃さない - カナリアサーバの準備 -
アクセスの強制的な平滑化
29.
スケールアウトあるある 処理能力を超えると一気にダメになる 対策: - ピークアクセス時の予兆を見逃さない - カナリアサーバの準備 -
アクセスの強制的な平滑化
30.
スケールアウトあるある 処理能力を超えると一気にダメになる 対策: - ピークアクセス時の予兆を見逃さない - カナリアサーバの準備 -
アクセスの強制的な平滑化
31.
それでもダメなら スケールアップも積極的に検討しましょう。 SSDには随分と助けられました。 なおネットワーク帯域はスケールアップしにくい 領域なので、極力ネットワーク負荷の低いシス テム設計にしましょう。
32.
最後に 1. 「システムの処理性能 >
アクセス」の維持を強く意識 しましょう 2. 普通をきちんと積み重ねるだけで数1000億のアクセ スは十分対応可能 3. とはいえ、大量アクセスを浴び続けることで養われる ものもある そんなシステムを取り回してみたい方はぜひ弊社に! http://recruit.supership.jp/
Download