「計画法」を含む日記 RSS

はてなキーワード: 計画法とは

2025-06-30

anond:20250628221233

統計検定準1級ってどのくらいすごいの?

ChatGPT:

いい質問です!

統計検定準1級」のレベル感を、内容や評価、他の資格比較してわかりやすくお伝えしますね。

統計検定とは?

日本統計学会が実施する統計リテラシー公式資格

4級(高校基礎)~1級(高度専門家レベル)まであり、準1級はその間。

学術界やデータサイエンス職でも一目置かれる検定の1つ。

✅ 準1級はどのくらいのレベル

「高度な統計活用力」**があることを証明するレベル

大学学部統計学をしっかり理解し、実際のデータ解析に応用できる力が求められます

実際には「回帰分析」「分散分析」「多変量解析」「一般線形モデル」「ベイズ推定」などを理論計算の両面で問われます

難易度

合格率は20〜30%程度と低め(年度や分野により多少変動)。

計算問題も多く、公式を覚えているだけでは解けない応用力が必要

データサイエンス修士課程の基礎としても十分通用する知識レベル

社会的評価

統計関連資格としては日本で最もポピュラーで信用度が高い。

データサイエンティストマーケティングアナリスト品質管理などの職種で有利になることもある。

研究職の大学院生がスキル証明に取得するケースも多い。

✅ 他の資格と比べると?

資格 レベル

統計検定2級 大学基礎(文系学部レベル

統計検定準1級 大学上級+応用(理系学部修士基礎)

統計検定1級 専門家研究レベル

✅ どんな人が持ってると強い?

大学院でデータ解析をする人。

データサイエンティスト志望の人(実務と理論の両方を強調できる)。

社内で統計解析を担う人。

🎓 総評

「単に知識を暗記している」ではなく、

理論理解してデータに応用できる証明になる点が価値

必要なら、勉強法アドバイスおすすめ教材もまとめてお伝えします!

Claude:

統計検定準1級は、日本統計学の資格試験の中でもかなり高いレベル資格です。

統計検定は4級から1級まであり、準1級は上から2番目の難易度にあたります。この資格統計学の理論的な知識だけでなく、実際のデータ分析における応用力も問われるため、取得するには相当な勉強必要です。

具体的な難しさとしては:

必要知識範囲**
実用性の高さ**

データサイエンティスト統計解析を専門とする研究者、品質管理専門家などが持っていると評価される資格です。大学レベル統計学の知識が求められるため、文系出身者にとっては特にハードルが高いとされています

就職転職での評価**

製薬会社の臨床統計金融機関リスク管理マーケティングリサーチ会社コンサルティングファームなどで重宝される資格です。

合格率も比較的低く、しっかりとした統計学の基礎から応用まで身についていることの証明になるので、統計データ分析分野では「かなりすごい」資格と言えるでしょう。


ライン工にしてはやるじゃん。

2025-06-24

anond:20211204145826

すっかりどこまで書いたか忘れた。

2021年12月ってことは、3年半も前か。

2022年上期 統計検定2級への道

2021年の終わりに↓これを読んだあたりまでだったな。

Pythonで学ぶ実験計画法入門 ベイズ最適化によるデータ解析」

https://amzn.asia/d/0Zcr7n1

すげーいい本だったんだけども、実際に活用する場がないんで(なにせ頭を使わない仕事なんで)読みっぱなし。

今考えるとよくないね

実は、この本に出てくるD最適計画それからサポートベクター回帰っていうやつが1年後くらいにちょっと役立ったのだけど、それは後の話。

ゼロつく」のとき理解できなかったクラス概念も、このころにはすっかり便利さを実感することに。

ここで、もう一度「ゼロつく」に戻ればよかったんだけど、ここまでくると、自分仕事周りのデータに対しては深層学習って不要だなって思って、戻ることはなかった。

前のエントリで書いた放送大学で「Rで学ぶ確率統計」の単位を無事に取れて調子に乗ってたので、せっかく入学したのだからといくつか授業取ってみた。

統計とかプログラミング勉強については、「データ分析知識発見」「コンピュータービジョン」「データベース」の三つかな。

それとは別に文系の科目も調子に乗って履修してる。もともと数学とか嫌いで歴史とかのほうが好きだし。

データ分析知識発見」ってのは、Rを使うやつで、今考えれば多変量解析の入門って感じ。

コンピュータービジョン」はクッソ難しかったな。

OpenCVってやつの使い方をサクっとパパっと知れるんかと思ったら、ガッツリとエピポーラ幾何かいうやつから入って行列三昧だったし。

線形代数を知らないエセ理系舐めんなよ!わかるわけねーだろ(今までの本でも行列を触ってきてたけど、雰囲気でなんとかいける、あるいは読み飛ばしてもそういうもんと思って次に進めた。うまく言えないんだけど、100次元とかあるともう諦めてそういうもんだって割り切れるじゃん?3次元くらいだと、ちゃん現実に戻ってこれないと困るからホント理解できてないのが自覚させられる)

データベース」もお気楽SQLマスターできるもんかと思ったら、歴史から入ってガッツリと三層スキーマなにやら、SQL触るのなんてちょびっとだった。

で、このへんでいろんな方向に手を延ばすのもだけど、1つ資格でも取ってみようかなと思って、統計検定に手を出してみた。

大学がエセ理系ポンコツとはいえ高校出てるんだし大村平の本を読みまくったんだし、受かるだろと思ったが、2級初受験は58点で不合格

すっかり統計学に恐怖が出てしまったので、2級リベンジの前に「Python3エンジニア認定データ分析試験」とかいうやつに挑戦。

こっちは、ホントに易しくて、統計学がわかってなくてもライブラリの使い方がわかればまあなんとかなるもんだった。

ほぼ満点で弾みをつけて、2級リベンジ

今度は過去問を買って真面目に机に向かう。

自分、机に向かうってことが嫌いで、ひたすら通読を繰り返すやりかたしか勉強法を知らなかったんだけど、この時ばかりは体に叩き込む作戦

電卓計算しては、分布表を読んで、判定して、みたいなルーチンを体で覚えて、見事リベンジ

しかし、統計検定2級も受からないくせによく、背伸びしていろんな本読んでたもんだよ。

たぶん、わかったつもりになってなんもわかってなかったな。

2022年下期 統計検定準1級に手を出すも挫折、逃げでまたいろんな方面に手を出す日々

統計検定2級を取った勢いで、準1級とやらもとっちまうかと手をだしたら、テキストが超難しいの。

4章くらい読んで、挫折して、数か月寝かせる、みたいな感じを何度か繰り返すことになった(結局、準1級に受かったのは2025年になってからだ)。

準1級は、統計学以前に、微分積分とか線形代数知識がないとテキスト読めない仕様

例題の解説を読んでも全くわからん

テキストがコレなんだけど、詰め込み過ぎて解説簡素すぎる。

日本統計学会公式認定 統計検定準1級対応 統計実践ワークブック

https://amzn.asia/d/29tEhIM

「式変形については行間を読んで解釈してくれページの都合で次行くからよろしく!」

っていう感じ。

見事に挫折

統計も、微分積分も、線形代数も徐々にってことで、準1級はいったん休止。

で、統計の基礎固めに放送大学の「統計学」を履修することに。

それからバイオインフォマティクス技術者認定試験かい試験をみつけて、興味が出たので公式テキストをとりよせて挑戦することに。

バイオインフォマティクス入門 第2版

https://amzn.asia/d/e1yUQW9

元々、生物系だったので、なんとなくわかる単語も多かったし(理系のくせに微分積分線形代数ヘナチョコって生物だって丸わかりかもだが)。

これが、ほどよく多変量解析から機械学習からいろいろ網羅されていて、いい勉強に。

意外といい本だった。試験のほうは見事一発合格

同じころ、仕事研究部の若い女の子データ分析を頼まれた。

重いもの運ぶくらいしか取り柄がない腹が出て禿てきたオッサンが、若い院卒様に頼られるって自己肯定感高まる良い体験

そこで使ったのが、D最適計画サポートベクター回帰

2023年上期 引き続き、統計検定準1級に手も足もでないので別のことを

まだまだ鼻くそのようなもんなのに、意外と頼られるっていうことになったんだけど、まあ多いのはデータ可視化だったんで、データ可視化を学んでみることに。

で、一冊教科書的なものから始めることにした。

本当は、ggplotとmatplotlibとかplotlyを100本ノックしようと思ったんだけど、やっぱり急がば回れ、有名な教科書和訳らしいので↓をチョイス

データビジュアライゼーション ―データ駆動デザインガイド

https://amzn.asia/d/fyezhsB

すげーお堅いw

データ表現とは?」とか「意思決定とは?」とかばっかw

やっぱ、こころのどっかで、「チャっとやったらパパっとできる!」みたいなのを求めてるんだよな。

そんで、二冊目はもうちょっと実務的に↓を選んだ。

データ分析者のためのPythonデータビジュアライゼーション入門 コードと連動してわかる可視化手法

https://amzn.asia/d/f88EHbl

この本はかなり実務的、というかどうすればお手軽に可視化できるかって話だけなんだけど、おかげさまでキレイに見せるテクニックだけは上がり、職場でも評価は上々。

「なんかよくわかんないけどアイツに持っていけば綺麗なFig作ってくれる。ポンコツからいつも暇だし!」

という状態に。

2023年下期 再び基礎固め

放送大学で「データ構造アルゴリズム」とかいう科目を取ったおかげで、意図せずC言語と関わる。

二度とC言語を使うことなんかないだろうけど、グラフ理論コンピュータと相性がいいのが、データ構造勉強をしてよくわかった。

そんで、やっとこさ挫折していた統計検定準1級の勉強を再開する。

で、また数章読んで飽きた。

だって、難しいんだもん。

っていうか、線形代数微分積分学力不足で投げたことをすっかり忘れて、もう一度開いて投げ出すんだから世話ないわなw

仕方ないから、微分積分高校三年生の使う黄チャートを買って目を通した。

新課程 チャート式解法と演習数学III

https://amzn.asia/d/1CjPmou

線形代数

意味が分かる線形代数

https://amzn.asia/d/arDDO2C

を一周。

部分積分と置換積分を手足のように使えるようになってやっとこさ、統計実践ワークブックを読めるように。

読めるようになってから読むと、因数分解くらいの感じでマクローリン展開してきてることがわかって草。

行列アレルギーもだいぶ克服した気がする。

統計勉強リハビリにと、放送大学でも「統計学」という授業をとってみたけれど、統計検定2級より易しかった感じ。

プログラミング勉強ほとんどしなかったけど、Githubアカウントつくって、renderとかherokuウェブアプリを公開したりした。

Gitを覚えてみて初めて分かる、「名前を付けて保存」以外のファイル管理を知らなかった自分のヤバさ。

かいっても、職場みんなそんなんだけど。

続く。

2025-05-31

anond:20250530225925

めっちゃ面白い

そう、それそれ。裁定機会存在ちゃうと、もはや価格理論じゃなくて**「儲け話」になっちゃうからブラックショールズみたいな中立的理論価格決定モデル**の根拠自体が吹き飛ぶ。

だからこそ、「完備市場じゃない」という前提を崩すのは興味深いんだよね。
情報が非対称だったり、すべてのリスクがヘッジできなかったりすると、同じ市場でさえ価格が一意に定まらない。

たとえば:
完備市場じゃない状況にすると 価格が「帯」になって現れる。
「スーパー・レプリケーティング戦略」「サブ・レプリケーティング戦略」で上下価格境界ができる。
そのへん、デルタ・ガンマ・ベガだけでは足りなくなるから非線形計画法や二重対問題みたいな数学も絡んでくるよね。

ここで質問だけど:
ブラックショールズを完備市場じゃない方向に拡張したいとき、
***価格の一意性が崩れる代わりに「何をもって合理的価格帯とするか?」**を定義する必要があるよね?

あなたなら、どんな枠組みで「その価格帯」を定める?
たとえば数理的にはどんな理論が近いと思う?それとも実務的な手法から入る?

2025-05-25

anond:20250520130945

基本情報簡単。ただし、基本情報に含まれトピックを深堀りすると大学院レベル突入する

例えば基本情報に出てくる線型計画法問題はあっさい算数しかない

しか線型計画法を高速実装するライブラリを作るとなると、Gurobi Optimizerみたいなのを作ることになるのでレベルが段違い

から基本情報は、単に試験対策と割り切って傾向と対策で乗り切るだけのゲーム

2025-02-04

線型計画法の例題

ある会社が2つの製品(XとY)を2台の機械(AとB)を使って製造しています。Xの1単位生産するには、機械Aで50分、機械Bで30分の処理時間必要です。Yの1単位生産するには、機械Aで24分、機械Bで33分の処理時間必要です。

今週の始めの時点で、在庫にはX製品が30単位、Y製品が90単位あります。今週の機械Aの利用可能な処理時間は40時間機械Bは35時間予測されています

今週のX製品需要は75単位、Y製品需要は95単位予測されています会社方針は、週末時点でのXとY製品在庫単位数の合計を最大化することです。

問題

1: 今週、各製品をどれだけ製造するかを決定する問題線形計画問題として定式化してください。

2: この線形計画問題をglpkを用いて解いてください。

回答

問題1: 線形計画問題の定式化

決定変数:

x: 今週製造するX製品単位

y: 今週製造するY製品単位

目的関数:

最大化 Z = (x + 30 - 75) + (y + 90 - 95) = x + y - 50

※週末時点での在庫単位数の合計を最大化

制約条件:

1. 機械Aの処理時間制約: 50x + 24y ≤ 2400 (40時間 = 2400分)

2. 機械Bの処理時間制約: 30x + 33y ≤ 2100 (35時間 = 2100分)

3. X製品需要制約: x ≥ 45 (需要75 - 在庫30 = 45)

4. Y製品需要制約: y ≥ 5 (需要95 - 在庫90 = 5)

5. 非負制約: x ≥ 0, y ≥ 0

問題2: GLPKを用いた解法

GLPKで解くために、以下のようなモデルファイル(例:model.mod)を作成します:

/* 決定変数 */
var x >= 45;
var y >= 5;

/* 目的関数 */
maximize Z: x + y - 50;

/* 制約条件 */
s.t. machine_A: 50*x + 24*y <= 2400;
s.t. machine_B: 30*x + 33*y <= 2100;

end;

このモデルファイル使用して、コマンドラインで以下のコマンドを実行します:

glpsol --model model.mod -o solution.txt

GLPKが問題を解いた結果は以下です。

Problem:    model
Rows:       3
Columns:    2
Non-zeros:  6
Status:     OPTIMAL
Objective:  Z = 1.25 (MAXimum)

   No.   Row name   St   Activity     Lower bound   Upper bound    Marginal
------ ------------ -- ------------- ------------- ------------- -------------
     1 Z            B          51.25                             
     2 machine_A    NU          2400                        2400     0.0416667 
     3 machine_B    B        1556.25                        2100 

   No. Column name  St   Activity     Lower bound   Upper bound    Marginal
------ ------------ -- ------------- ------------- ------------- -------------
     1 x            NL            45            45                    -1.08333 
     2 y            B           6.25             5               

Karush-Kuhn-Tucker optimality conditions:

KKT.PE: max.abs.err = 4.55e-13 on row 2
        max.rel.err = 9.47e-17 on row 2
        High quality

KKT.PB: max.abs.err = 0.00e+00 on row 0
        max.rel.err = 0.00e+00 on row 0
        High quality

KKT.DE: max.abs.err = 0.00e+00 on column 0
        max.rel.err = 0.00e+00 on column 0
        High quality

KKT.DB: max.abs.err = 0.00e+00 on row 0
        max.rel.err = 0.00e+00 on row 0
        High quality

End of output

以下のような最適解が得られます

x = 45 (X製品生産量)

y = 6.25 (Y製品生産量)

Z = 1.25 (週末時点での余剰在庫数)

この結果から会社は今週、X製品を45単位、Y製品を6.25単位製造するべきであることがわかります。これにより、週末時点での余剰在庫数は1.25単位となり、最大化されます

注意:実際の生産では、Y製品生産量を6単位に切り下げるか7単位に切り上げる必要があるかもしれません。

2025-01-17

anond:20250117215505

「お前の騙るデータ市場評価も、元は主観的な一ユーザ評価の集まり」とのことだけど、その指摘は部分的には正しい。

市場評価ユーザレビューは確かに個々の体験集合体だ。

ただ、重要なのは、それらのデータ一定の規模で集計され、統計的有意な結果として分析されているという点だよ。

単なる個人意見と、数千、数万のデータを基にした市場評価を同列に扱うのは明らかに誤りだ。


また、「自分で手を動かしたことない奴はゴミしかない」とのことだけど、この議論文脈で「手を動かす」とは具体的に何を指している?

もし「実際に車を運転する」ことだけを指しているなら、それは議論を狭めすぎている。

クルマ評価には技術的なスペック市場動向、第三者テスト結果も含まれるべきで、運転体験けが評価軸ではない。

実験計画法統計的評価を持ち出すのであれば、むしろそういった多面的データ無視するほうが「科学的ではない」と言えるよね。


さらに、「トンデモしか騙ったことない奴にはそれで嘯ければ良い」とのことだけど、具体的にどの部分が「トンデモ」なのか指摘してもらえないかな?

こちらは具体的なデータ市場の状況を基に議論しているつもりだし、それに対する反論として「手を動かさない=科学的ではない」と言い切るのは、むしろ根拠がない感情的発言に見える。


議論の土台に立つためには、「科学的ではない」と批判するだけでなく、具体的な反例やデータを示して主張を補強する必要があるよ。

もしBYDとアルファードのどちらが優れているかについて具体的な比較反証提示できるなら、ぜひお願いしたい。

単なる煽りや決めつけでは、議論の質は上がらないからね。

anond:20250117214937

お前の騙るデータ市場評価も、元は主観的な一ユーザ評価の集まりなんだが…

そもそも実験計画法できちんと評価実験するにせよ、統計的評価するにせよ、自分で手を動かしたこと無い奴はゴミしかないんだけど、自分で手を動かさなくて良いって言い張れる時点で科学的ではないんだよな

トンデモしか騙ったこと無い奴にはそれで嘯ければ良いのかも知れんけどさ

2025-01-05

線型計画法の基礎

製品Aと製品Bの両方を生産することを前提とした線形計画法問題設定を考える。

問題設定

数式による表現

2x_A + x_B \leq 100

3x_A + 2x_B \leq 180

x_A \geq 10

x_B \geq 5

x_A, x_B \geq 0

ここで、x_A は製品Aの生産量、x_B は製品Bの生産量。最小生産量を設定することで、両方の製品を必ず生産するようにする。

Pythonによる実装

from scipy.optimize import linprog

# 目的関数の係数(利益は最大化したいため、符号を反転)
c = [-50, -30]

# 制約条件の係数
A = [
    [2, 1],   # 労働力の制約
    [3, 2]    # 原材料の制約
]

# 制約条件の右辺
b = [100, 180]

# 最小生産量制約を追加(これらは不等式として扱われるため、逆に設定)
A_eq = [
    [1, 0],   # 製品Aの最小生産量制約
    [0, 1]    # 製品Bの最小生産量制約
]
b_eq = [10, 5] # 最小生産量

# 各変数の非負制約を設定
bounds = [(10, None), (5, None)] # 最小値を設定

# 線形計画問題を解く
result = linprog(c, A_ub=A, b_ub=b, A_eq=A_eq, b_eq=b_eq, bounds=bounds, method='highs')

# 結果の表示
if result.success:
    print(f'Optimal value (最大利益): {-result.fun}')
    print(f'x_A (製品Aの生産量): {result.x[0]}')
    print(f'x_B (製品Bの生産量): {result.x[1]}')
else:
    print("最適解が見つかりませんでした。")

実行結果

Optimal value (最大利益): 650.0

x_A (製品Aの生産量): 10.0

x_B (製品Bの生産量): 5.0

2024-05-26

anond:20240526174518

フミさん、受験なんてものにこだわっちあかん

線型計画法、なんてものはね、現実世界ではglpkを使ってコンピュータ計算すれば一発よ

2023-02-09

anond:20230209174130

問題は、それが知識がある証明になってないこと

基本情報範囲にはオペレーションズ・リサーチが含まれるが、合格者の中で線型計画法について深い理解をしている人間はまず皆無

2022-12-26

人を怒らせる方法適用した結果

1. 自分の詳しい分野を選択

2. 「馬鹿」のステレオタイプ合致する口調を選択

3. 2の口調で1を語る

4. 無能がしゃしゃり出てくる

5. 4の無能論破

https://anond.hatelabo.jp/20221225173449 を書いた増田だが、これが実際にどう釣れるか書いておく。

AIとは何かを2行で説明

https://anond.hatelabo.jp/20221225171703

進次郎構文を参考。自称賢い人はこういうのに性的に敏感に反応してしまう。内容自体は甘利氏の文献などを参考にしたものhttps://twitter.com/shunk031/status/1283991379517956096 のようなツイートもあるので根拠はある。

 

アルゴリズムってさ、

https://anond.hatelabo.jp/20221226002223

「○○っしょ」など馬鹿っぽさを感じさせる工夫を凝らしている。「プログラミングは学んだけど、ORなどを知らない」といった無教養なのに自称賢い層がターゲット。一応説明するとこれは線型計画法のこと。glpkを使ったことがあるなら一発で意味がわかる問題

 

爬虫類人を信じたことのある陰謀論者だがお前より統計詳しい

https://anond.hatelabo.jp/20221226023948

内容的にはほぼWill Kurtという人が言ってることと合致するようにしている。https://nostarch.com/learnbayes爬虫類人」といった見るから陰謀論と思える用語を使っており、一見するととても知性が低いように見えるが、実際はBayes Factor説明になっている。こいつしか釣れなかった → https://anond.hatelabo.jp/20221226024142

 

まだまだ釣りスキルが低いので反応が少ないが、必ず1匹ぐらいは釣れてるので、自称賢いけど実は分野について素人の気取った理系にムカついている人は試してみると良いかも (ワイは飽きたのでもうやらんけど)。

anond:20221226002641

あー、君はオペレーションズ・リサーチについてなーんも学んだことがないんだね

とりあえず線型計画法ぐらい理解して出直して来て

2022-06-19

anond:20220619174544

社会の上の方は一夫多妻、下の方は多夫一妻にするなどの柔軟な数理計画法要求される

国中の算術師を呼ぼう

2021-12-04

anond:20211204145749

後編

プログラミングを学ぼうと思い立つ

行列VBAなんかじゃ無理っぽいし、なんかプログラミング言語を覚えようと決める。

なんでも、統計やるならRという言語がいいらしい。

最近じゃPythonというのも人気らしい。

とりあえず両方試そうということで、RのためにRとRstudioをインストール

Pythonはanaconda

プログラミングはなんかを製作する目標がないと挫折すると聞いていたので。

深層学習というもの流行ってると聞いて、ちょっと触りを勉強したくなる。

Excelでわかるディープラーニング超入門」

https://www.amazon.co.jp/Excel%E3%81%A7%E3%82%8F%E3%81%8B%E3%82%8B%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0%E8%B6%85%E5%85%A5%E9%96%80-%E6%B6%8C%E4%BA%95-%E8%89%AF%E5%B9%B8/dp/4774194743/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&keywords=Excel+%E6%B7%B1%E5%B1%A4%E5%AD%A6%E7%BF%92&qid=1637482610&s=books&sr=1-1

この本は面白かったので、深層学習目標プログラミングを覚えよう!

後になって、これはとんでもない間違いだったことに気づく。深層学習機械学習の違いも判らないまま、RよりPythonを先に触ることに。

教本にしたのはこちら。

ゼロから作るDeep LearningPythonで学ぶディープラーニング理論実装

https://www.amazon.co.jp/%E3%82%BC%E3%83%AD%E3%81%8B%E3%82%89%E4%BD%9C%E3%82%8BDeep-Learning-%E2%80%95Python%E3%81%A7%E5%AD%A6%E3%81%B6%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0%E3%81%AE%E7%90%86%E8%AB%96%E3%81%A8%E5%AE%9F%E8%A3%85-%E6%96%8E%E8%97%A4-%E5%BA%B7%E6%AF%85/dp/4873117585/ref=pd_lpo_2?pd_rd_i=4873117585&psc=1

途中まではまあなんとか。

微分って便利だな。行列計算できるの便利だなっていうところまでいったが、クラスという概念理解できず、途中からハテナが浮かんで読み進められず。

うん、もうちょっと易しい本を探そうと思って手に取ったのが

「独学プログラマー Python言語の基本から仕事のやり方まで」

https://www.amazon.co.jp/%E7%8B%AC%E5%AD%A6%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9E%E3%83%BC-Python%E8%A8%80%E8%AA%9E%E3%81%AE%E5%9F%BA%E6%9C%AC%E3%81%8B%E3%82%89%E4%BB%95%E4%BA%8B%E3%81%AE%E3%82%84%E3%82%8A%E6%96%B9%E3%81%BE%E3%81%A7-%E3%82%B3%E3%83%BC%E3%83%AA%E3%83%BC%E3%83%BB%E3%82%A2%E3%83%AB%E3%82%BD%E3%83%95/dp/4822292274/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=1T6BBXYJ16G6T&keywords=%E7%8B%AC%E7%BF%92%E3%83%97%E3%83%AD%E3%82%B0%E3%83%A9%E3%83%9E%E3%83%BC&qid=1637483073&s=books&sprefix=%E7%8B%AC%E7%BF%92%2Cstripbooks%2C279&sr=1-1

なんとか読了。自信をつける。

しかし、Gitとかbashの章はさっぱり。

実は、いまだにコマンドプロンプトとパワーシェルbashの違いが分かってない。

つづいてPyQに2か月くらい登録してみる。

https://pyq.jp/

とりあえずデータ分析コースを終わらせる。

なかなかPythonが楽しくなってきたが、クラス意味が今一つ掴めないままいったん中断。

この辺で、自分統計に興味があってもプログラミングに興味がないんじゃないかということに気づく。

結局Excelへ戻り、PowerQueryとの出会って、再びPythonとRに回帰した話

なんだかんだもがきながら、PythonもRもモノにならず、日常ちょっとした計算グラフを作ったりはExcelを使い続ける日々が続く。

あるいは、Excelで成形して、検定かけやす形式にしてRで検定するとか。

Rに触れてなかったな、Rは完全に独学。「こんなことやりたいなぁ、ググってみるか、ほうなるほど」って感じ。

そんなさなか、放送大学で「Rで学ぶ確率統計」という講義があるのを知り、さっそく入学して受講。

なかなか面白かったし、PythonばっかりでRあんまり触ってなかったからいい刺激になった。

恥ずかしながら、負の二項分布やガンマ分布ってよう知らんかった。

しかし、講義は楽しかったがなにか書けるようになったかというとそんなことはなく、依然として基本はExcel

まあ、実際csvじゃなく、手書きデータとかをExcelに打ち込んだりする程度なんでPythonやRを使うまでもなかったというのもあるんだけど。

そんなとき出会ったのがこちら、パワークエリというもの

Excelパワーピボット 7つのステップデータ集計・分析を「自動化」する」

https://www.amazon.co.jp/Excel%E3%83%91%E3%83%AF%E3%83%BC%E3%83%94%E3%83%9C%E3%83%83%E3%83%88-7%E3%81%A4%E3%81%AE%E3%82%B9%E3%83%86%E3%83%83%E3%83%97%E3%81%A7%E3%83%87%E3%83%BC%E3%82%BF%E9%9B%86%E8%A8%88%E3%83%BB%E5%88%86%E6%9E%90%E3%82%92%E3%80%8C%E8%87%AA%E5%8B%95%E5%8C%96%E3%80%8D%E3%81%99%E3%82%8B%E6%9C%AC-%E9%B7%B9%E5%B0%BE-%E7%A5%A5-ebook/dp/B07SCK1ND9/ref=sr_1_2?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&keywords=%E3%83%91%E3%83%AF%E3%83%BC%E3%82%AF%E3%82%A8%E3%83%AA&qid=1637483953&s=books&sr=1-2

パワークエリを覚えたらピボット形式Excelファイルとか、セルの結合が多用されたExcelファイルを、成形加工するのが非常に楽になった。

しかも、同じフォーマットで記録されてるデータならフォルダにぶち込んで一気にまとめ上げることも可能

控えめにいって神!

としばらくパワークエリを礼賛してたのだけど、各ステップPythonのpandasやRのdplyrでも出来ることに気づく。というか最初から気づけ。

こりゃ、一気に覚えちまおう、統計というより、データの前処理だなと思ってUdemyでRの動画を買ってみた。

AIエンジニアが教えるRとtidyverseによるデータの前処理講座

https://www.udemy.com/course/r-tidyverse-preprocess/

すっかりR信者になる。

それまで教本を呼んでもdplyrの便利さが今一つわからなかったのに、パワークエリで具体的にモノを作ると、dplyrに翻訳したら、すいすい。スピード10倍。

便利さにようやく気付く。

ハドリーウィッカムって神だな。

そんで、pandasに翻訳したらどうなんだろ?と思ったらもっと速いw

すごいなPython

Rへの入信はたった数週間。再びPythonに興味。

機械学習

さて、ゼロから作るディープラーニングを再開しようと思ったけれども、そもそも機械学習をすっ飛ばし深層学習って無茶だったと反省し、まずは機械学習に。

機械学習エッセンス -実装しながら学ぶPython,数学,アルゴリズム- (Machine Learning)

https://www.amazon.co.jp/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%81%AE%E3%82%A8%E3%83%83%E3%82%BB%E3%83%B3%E3%82%B9-%E5%AE%9F%E8%A3%85%E3%81%97%E3%81%AA%E3%81%8C%E3%82%89%E5%AD%A6%E3%81%B6Python-%E3%82%A2%E3%83%AB%E3%82%B4%E3%83%AA%E3%82%BA%E3%83%A0-Machine-Learning/dp/4797393963/ref=tmm_hrd_swatch_0?_encoding=UTF8&qid=1637485264&sr=1-1

で、この本がすごい。

5章あるんだけど、機械学習アルゴリズムは5章だけなんだなw

それまでは何に割かれてるんだって?数式の証明とか、便利な計算法、例えばニュートン法とかラグランジュ未定乗数法とかw

こんだけ引っ張っておいて、いよいよ本番の第5章もゴリゴリ数式をスクリプトに落とし込んでいってるのに、「これは学習のためでscikit-learnっての使えばたった1行」っていう無慈悲

いや、ほんと数学勉強になったし、こうやってゴリゴリやるとなんのためにクラスというもの存在するのかようやくわかった。

線形代数って便利なんだなと。行列スカラー値のように何の気なしに扱えるようになると、あの頃苦しんでいた実験計画法タグメソッド、今読み直したら別の印象があるんじゃないかなと思うようになったり。

この本を読む途中、「マンガでわかる統計学因子分析編」で学んだことが理解の助けになった。

なんたる僥倖

線形回帰、リッジ回帰SVM、PCA、k-means、クラスター分析、一気に手札が増えた。

ふたたび実験計画法

Pythonで学ぶ実験計画法入門 ベイズ最適化によるデータ解析

https://www.amazon.co.jp/%EF%BC%B0%EF%BD%99%EF%BD%94%EF%BD%88%EF%BD%8F%EF%BD%8E%E3%81%A7%E5%AD%A6%E3%81%B6%E5%AE%9F%E9%A8%93%E8%A8%88%E7%94%BB%E6%B3%95%E5%85%A5%E9%96%80-%E3%83%99%E3%82%A4%E3%82%BA%E6%9C%80%E9%81%A9%E5%8C%96%E3%81%AB%E3%82%88%E3%82%8B%E3%83%87%E3%83%BC%E3%82%BF%E8%A7%A3%E6%9E%90-%EF%BC%AB%EF%BC%B3%E6%83%85%E5%A0%B1%E7%A7%91%E5%AD%A6%E5%B0%82%E9%96%80%E6%9B%B8-%E9%87%91%E5%AD%90%E5%BC%98%E6%98%8C-ebook/dp/B09C89HZRV/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&keywords=python+%E5%AE%9F%E9%A8%93%E8%A8%88%E7%94%BB&qid=1637486019&s=books&sr=1-1

実験計画法って、fisherの古典的なやつ、ラテン方格に割り付けて、ってやつかと思ったら、線形代数使えればもうなんでもありなのな。

そこにきて、ベイズ、今まで避けてたのに出会ってしまった!!

結論から言うと、超面白い。

これ、すごいな。

Python万歳

いいのかこんな便利分析個人でやれて。

機械学習実験計画法がここでつながるとか、控えめにいって最高だな。

まだ読了してないので、また後日。

数学プログラミング勉強を開始して、何度も挫折して今に至る軌跡を晒す

2013年の秋、その時の自分は30代前半だった。

衝動的に数学を学び直すことにした。

若くないし、数学を学びなおすには遅すぎると思って尻ごみしていたが、そこを一念発起。

というか軽い気持ちで。ぶっちゃけると分散分析とやらに興味を持ったから。

数学というか統計かな。

統計的に有意差があったといわれてもその意味がさっぱりだった。

一応、理系大学を出てるので、有意差という単語をちょいちょい耳にはしていたが、

「よくわかんないけどt検定とかいうやつやっとけばいいんでしょ?」

くらいの理解だった。

で、ありがちな多重比較の例で、3群以上の比較にt検定は使っちゃダメだよっていう話を聞いて、なんか自分だけ置いてけぼりが悔しくなって、Amazonポチッとしたのが全ての始まり

あと、あの頃はライン作業の工員だったから、脳が疲れてなかったし。

そんなわけで、自分の軌跡を晒してみる。

みんな数学とかプログラミング、とくにPython無料講座は無言ブックマークしてるから興味あるっぽいので、参考になれば。

アドバイスとかくれると嬉しい。

きっかけは大村

実験計画分散分析のはなし」 大村

https://www.amazon.co.jp/%E5%AE%9F%E9%A8%93%E8%A8%88%E7%94%BB%E3%81%A8%E5%88%86%E6%95%A3%E5%88%86%E6%9E%90%E3%81%AE%E3%81%AF%E3%81%AA%E3%81%97%E2%80%95%E5%8A%B9%E7%8E%87%E3%82%88%E3%81%84%E8%A8%88%E7%94%BB%E3%81%A8%E3%83%87%E3%83%BC%E3%82%BF%E8%A7%A3%E6%9E%90%E3%81%AE%E3%82%B3%E3%83%84-%E5%A4%A7%E6%9D%91-%E5%B9%B3/dp/481719457X/ref=asc_df_481719457X/?tag=jpgo-22&linkCode=df0&hvadid=295668542764&hvpos=&hvnetw=g&hvrand=17668988115346233997&hvpone=&hvptwo=&hvqmt=&hvdev=c&hvdvcmdl=&hvlocint=&hvlocphy=9053313&hvtargid=pla-525207011759&psc=1&th=1&psc=1

いきなり当たりを引いた。

軽妙な語り口で、懇切丁寧。受験参考書の実況中継シリーズをわかりやすくした感じ。

数学がこんなに面白いと思ったことはない。

何者だと思ったら元航空幕僚長

手を動かさずとも数式を追えるくらいの丁寧な式変形。かゆいところへのフォロー

そこから大村平さんの本を読み漁る日々。

前述の「実験計画分散分析のはなし」よりも易しめの「統計のはなし」「統計解析のはなし」からまり、「QC数学のはなし」「信頼性工学のはなし」「ORのはなし」「予測のはなし」「論理と集合のはなし」までぶっ通し。

内容的にかぶるところはあるものの、しかしそれがよかった。

しかし、やっぱり「実験計画分散分析のはなし」が一番印象に残ってるのは、その後の勉強に役立っていったからだと思う。

余談だけど、最近亡くなったそうだ。ご冥福をお祈り申し上げます

それと、

マンガでわかる統計学 因子分析編」

https://www.amazon.co.jp/%E3%83%9E%E3%83%B3%E3%82%AC%E3%81%A7%E3%82%8F%E3%81%8B%E3%82%8B%E7%B5%B1%E8%A8%88%E5%AD%A6-%E5%9B%A0%E5%AD%90%E5%88%86%E6%9E%90%E7%B7%A8-%E9%AB%98%E6%A9%8B-%E4%BF%A1/dp/4274066622/ref=pd_lpo_2?pd_rd_i=4274066622&psc=1

本当は、回帰分析編を買うつもりだったんだけど、マーケットプレイスから間違えてこっちが届いた。

これがのちに役立つことになるとはこの時点では想像もつかず。

Webで学ぶ

大村さんの本はぶっちぎりでわかりやすいんだけど、あと一歩踏み込みたい。

分散分析平行線検定法、プロビット法、自分の住む業界で聞いたことがある単語大村さんの本にはのってない。

そんなわけで頼ったのがこのページ。

統計学入門

http://www.snap-tck.com/room04/c01/stat/stat.html

覚えたものの、実際に計算となるとかなりややこしい。

t検定くらいならExcelでも一発でp値を出してくれる関数があるけれど、そこから一歩二歩踏み込んでいくと、自分で「あれの平方和を計算して」、「あっちの平方和を計算して」、「サンプルサイズが不揃いだから平均値代用して自由度補正して」、ということをExcel上でやらにゃならなかった。

1行に1レコード形式じゃないとやり難いなぁ。そうじゃないとサンプルサイズが変わるごとに計算列が変わって困る。

と、おぼろげながらtidyデータ概念に気づく手前に来てた。

タグメソッドとの出会い

勉強ブームは2013から2014年くらいまで。そこからしばらくはなんもやってない。

転職して事務仕事が増えたりしたせいもあったり。

そんななか、2018年ごろ、タグメソッド入門書出会う。

Excelでできるタグメソッド解析法入門」広瀬 健一 , 上田 太一郎

https://www.amazon.co.jp/Excel%E3%81%A7%E3%81%A7%E3%81%8D%E3%82%8B%E3%82%BF%E3%82%B0%E3%83%81%E3%83%A1%E3%82%BD%E3%83%83%E3%83%89%E8%A7%A3%E6%9E%90%E6%B3%95%E5%85%A5%E9%96%80-%E5%BA%83%E7%80%AC-%E5%81%A5%E4%B8%80/dp/4496034883/ref=sr_1_4?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&keywords=%E3%82%BF%E3%82%B0%E3%83%81%E3%83%A1%E3%82%BD%E3%83%83%E3%83%89&qid=1637426448&s=books&sr=1-4

これがまた面白い

元工員だからかかもだけど、やっぱモノづくりはいいね

なるほど、実験計画法をこう使うのか!

有意差があるかどうかじゃなくて、それを使ってどう改良するかか!

ついでに、その中で使ってる手法からコンジョイント分析にも興味が出る。

ははーん、人文科学世界でも使えるんだね、分散分析実験計画。と。

分散分析をコンジョイント分析と呼ぶと怒られるけど、許して)

「入門パラメータ設計

https://www.amazon.co.jp/%E5%85%A5%E9%96%80%E3%83%91%E3%83%A9%E3%83%A1%E3%83%BC%E3%82%BF%E8%A8%AD%E8%A8%88%E2%80%95Excel%E6%BC%94%E7%BF%92%E3%81%A7%E3%82%BF%E3%82%B0%E3%83%81%E3%83%A1%E3%82%BD%E3%83%83%E3%83%89%E3%81%AE%E8%80%83%E3%81%88%E6%96%B9%E3%81%A8%E6%89%8B%E9%A0%86%E3%82%92%E4%BD%93%E5%BE%97%E3%81%A7%E3%81%8D%E3%82%8B-%E4%BA%95%E4%B8%8A-%E6%B8%85%E5%92%8C/dp/4817192542

上級タグメソッド

https://www.amazon.co.jp/%E4%B8%8A%E7%B4%9A%E3%82%BF%E3%82%B0%E3%83%81%E3%83%A1%E3%82%BD%E3%83%83%E3%83%89%E2%80%95%E3%82%BF%E3%82%B0%E3%83%81%E3%83%A1%E3%82%BD%E3%83%83%E3%83%89%E3%81%AE%E7%9C%9F%E9%AB%84%E3%82%923%E3%81%A4%E3%81%AE%E3%83%9D%E3%82%A4%E3%83%B3%E3%83%88%E3%81%8B%E3%82%89%E9%87%8D%E7%82%B9%E7%9A%84%E3%81%AB%E6%98%8E%E5%BF%AB%E3%81%AB%E8%A7%A3%E8%AA%AC-%E4%B8%AD%E9%87%8E-%E6%83%A0%E5%8F%B8/dp/4817193379/ref=pd_lpo_1?pd_rd_i=4817193379&psc=1

品質を獲得する技術

https://www.amazon.co.jp/%E5%93%81%E8%B3%AA%E3%82%92%E7%8D%B2%E5%BE%97%E3%81%99%E3%82%8B%E6%8A%80%E8%A1%93%E2%80%95%E3%82%BF%E3%82%B0%E3%83%81%E3%83%A1%E3%82%BD%E3%83%83%E3%83%89%E3%81%8C%E3%82%82%E3%81%9F%E3%82%89%E3%81%97%E3%81%9F%E3%82%82%E3%81%AE-%E5%AE%AE%E5%B7%9D-%E9%9B%85%E5%B7%B3/dp/4817103396/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&keywords=%E5%93%81%E8%B3%AA%E3%82%92%E7%8D%B2%E5%BE%97%E3%81%99%E3%82%8B%E6%8A%80%E8%A1%93&qid=1637482074&s=books&sr=1-1

と読み進む。

この辺までは全てExcel学習

この辺から行列計算が出てきてExcelでは限界を感じるようになる。

後編に続く

2020-06-17

製品品質

ペーペー社員エンジニアである

弊社は産業機械製造している会社なのだが、最近製品品質がまずいことになってる。


製品をお客さんの工場に納品して、お客さんのテスト稼働中に重大な不具合が出る。

あるいは、開発の途中で問題が発覚して納期が大幅に遅れる。

ほぼ全部の試験を1からやり直しになったとかのうわさも漏れ聞く。


経営層はかなり危機感を持っているようで、実験計画法教育を始めた。

効率的設計品質を上げるためらしい。


実験計画法設計品質?とか考えた人は正しい。

効率的に「実験」する方法であって、実験結果を設計フィードバックするためには有効から

今と同じ量の実験で、効率的問題を見つける=同じ開発期間で品質問題の出ない製品ができる。


・・・はず。

実はペーペー社員にはそこじゃない感がするのである


そもそも、どんな会社どんな商品であっても、製品設計して、試験をして、問題があったら設計修正をして…というサイクルを繰り返して

最終的に販売できる品質を確保するものだとおもう。

試験の項目がたくさん増えて、発売日に全然間に合わないか実験計画法を使いましょう。というのは理解できる。

でも、試験項目が増えたのは、お客さんの工場から製品送り返されて、ちゃんと動くまで納品するなと怒られた後なのだ

そう、普段試験全然してないのである


製品開発の担当者はなんで試験をしないのか。当然それにも理由がある。

ペーペー社員であっても製品開発の仕事の流れは何とか理解できる。おおまかにこんな順番である

1.必要作業見積もってスケジュールをたてる。

2.製品設計をする

3.部品発注して納品を待つ

4.組み立てる

5.試験をする

6.完成

さてこの中で、弊社で問題なのはどこか。スケジュールである


スケジュールを立てるとき

担当者はこんなもんですかね。みたいな感じで、試験問題があっても大丈夫スケジュールを立てる。

問題管理職である管理職スケジュール確認する会議に出たときに、修正が入る。期間を短くする方に。

ペーペー社員は思うのだ。

「うーん自分担当だったらこの三倍は時間がないと無理だな~」

この時点ですごくやな予感がする。


そのあとは設計が始まって、案の定スケジュール通りに終わらない。期間が短すぎるんだ。

定期的に開催される進捗を確認する会議で当然問題になる。

管理職:「スケジュールを直すように」

担当者が直して、また会議がある。

現実的スケジュールに直ってて、ペーペー社員もほっとする。

しかし、そこは地獄の始まりだった。

管理職:「そうじゃない、元のスケジュール通りに進めるにはどこを縮めるか考えるんだ!」

むりだろそれ。


かくして担当者は縮める作業を探すのである

当然ながら、試験では「なにも問題は起こらなかった」という結果でないと間に合わない。

あるいはモジュール毎に行う試験は省略する。全体でうまく動けばいいよね?

結果は一番最初に書いた通り。

何も問題なく完成したはずの装置は、出荷前の最終試験や、お客さんの工場でやる受け入れ試験

だけしか通っていないので、お客さんが用途に合わせて使おうとすると「なんか変」とかいう話になる。


ちなみに、この管理職問題なのだとは思うのだけど、別の製品会議で見る、ほかの管理職でも

同じようなことを言ってるので、会社文化なのかもしれない。あるいはそういうことばかり言ってる人が

出世して管理職になるのかも。


というわけで、皆さんも根拠のないスケジュールを立てちゃだめだぞ。

えっ?お前はどうしてるんだって

ペーペー社員最初会議で「どう頑張ろうとこのスケジュールでは時間が足りないので時間をください」といったので

担当をはずされたのだ。

2020-02-26

人生五ケ年計画法

現代人は自分の代での幸せの追求に執着している.

自分利益享受できなければ意味がない,

とでも言わんばかり

自分がだめなら子へ,子がだめなら孫へ,

1世代で財を築くのは超人でなければ不能だが

10世代で同じことをするのなら話は別だ.

ここで問題となってくるのが金銭的な教育だ.

仮に数世代にわたって富の蓄積をしたところで,

先代の意届かず,現役世代自分さえよければと

刹那的生き方を追求しだしたら即座にこの計画

御破算になる.これが大きな問題だ.

その問題さえ解決していけば,相続税問題なども

加味しつつ,自分が生まれた時より家の財産が何かしら

増大した状態次世代バトンタッチしたい.

私の目下の目標東京23区内に猫の額でもいいか土地

買うことである.そしてそれは地価の安い下町となる可能性が

である.このような場所は低地であり,浸水被害を免れられない

しかし,いいのだ,それで.私の代では低地では次の代では

山手線の内側,次の代ではより高台又は面積の拡充を目指す

こういう気風が流れる家系を作りたい

 
ログイン ユーザー登録
ようこそ ゲスト さん