ビジネス・実用の高評価レビュー
-
Posted by ブクログ
36歳なのだが、競争、自分の欲を持ってバリバリ働く事から降りた私は稲垣さんの本はどれも響きまくる。
サイズダウンしていく事。
消費していくことが普通、当たり前の世の中で
「使い切る」ことがどれだけ尊い事だったのか。
使い切るから必要最低限のモノしか買わなくて良いからお金は要らないしゴミも減るし何より心が晴れやか。
いつも欲しい、捨てられない、使いきれないほどのものを抱えている、そしてまたお金を得なくては、、のストレスの方がよっぽど辛い。
使い切るまで全うし、お役御免になったら大事にまた一生使うつもりで買う。
新しいモノに追われる必要なんてない。
そう思うと、この資本主義社会での常に新しいモノ、最新ものを!という広告まみれの消費消耗活動が全く色褪せた。
毎日、早起きして同じルーチンをこなし、
焚き火でもしながらのんびりとコーヒーを飲んでいる時間こそがなににも変えがたい喜びです。
都市にいても江戸っ子のように生きる稲垣パイセンはこれからの生き方の最先端だと思う。 -
Posted by ブクログ
お知らせします
わいの中で今年の(発表は来年)の新書大賞が決定しました
鈴木大介さん著『リベラル疲れ』です
おめでとうございます
ありがとうございます
共感と納得の温帯低気圧です(素直に嵐でええやろ!)
最近わいは元リベラルを自称しておるわけですが、そうなった原因を自問してみるとまさにこの「リベラル疲れ」があったように思う
極端な言説、尽きることのない”怒り”により対話を不可能にしてしまう左派の姿勢に「疲れた」からです
だが一方で、あらためて自分の根っこはリベラルなんやな〜と再認識させられてしまいました
ごめんよ竹田さん
まぁいわゆる左派の中でも「反権力」というのがわいの所属部署なんだが、小さい頃から持っている「ルール」というものにたいする抑えきれない抵抗感があって、なんでお前らが勝手に決めた「ルール」に従わにゃならんのや!
さらに言えば、従ったところで、戦争や貧困や差別は無くならんやろが!という思いがあったからなんですな
*ちなみに例えば殺人を肯定するのか!なんて意見についてはは「ルール」以前に「人して…」なので齟齬はない
だが大人になるにつれて、社会の中で「ルール」に従わない人たちから受ける直接的な被害「迷惑」に辟易するとともにちょっとずつ考えが変わってきたわけです
例えば、小さなことやけどゴミ出しの「ルール」を守らない人のために後片付けをするとかな
ちゃんと網の中入れろや!カラス来んねん!(# ゚Д゚)
よしもうがんがんに話逸れてるな
このまま行くとリベラル=燃えるごみに使用済みのおむつを出す人になってしまうな
軌道修正
この本は何ために書かれたか?何が書かれているか?というとね
分断を回避するためのリベラル側からのアプローチなんよ(鈴木大介さんはバリバリのリベラル)
筆者は「分断」の「分」は価値観の多様性であり、守られるべき思想の自由だが、「断」は対話や人間関係の喪失であり、それは人生の質の喪失と定義していて、「分」を認めつつ「断」を回避することは可能である
少なくとも「半径5メートル」の近しい関係においては可能であり、必要なことだとまとめる
方法論や考え方についてはぜひとも本書を一読願いたい -
Posted by ブクログ
ネタバレ・彼に私の心を読むことはできない
・文句を言うのはやめて、やって欲しいことは明確に伝えよう
・あなたが常に割れたクラッカーを食べなくてもいい=自分の権利をもっと確保する
・あなたは○○だ、ではなく、私は○○と感じたと伝える
・正々堂々とした夫婦喧嘩は子供にとって悪いことではない
・ありがとうと言う。何度も言う。
・育児休暇は結婚生活と赤ちゃんにとって大きな利益になる(夫の寿命も伸ばす)
・デートナイトは必要
・夫を除け者にしない、彼に自分は無能だと思わせていないか、常に気をつける
・彼のやり方を尊重しよう
・あなたの子どもだって、あなたを助けることができるし、そうすべきだ(ただし2.3歳から始めること)
・夫の良いところを見つける -
Posted by ブクログ
ネタバレ良かったー。集大成だった。
以下備忘録
恋人に浮気されたとか、職場を解雇されたとか、そういうひどい目にあっているときには時間は切迫しますし、周囲の人間への評価は一変します。
今この瞬間のことしか考えられなくなって、余計に事態を悪くするようなことをしたり、言ったりしてしまう。こういうとき、こころの中の赤ちゃんがギャーと悲鳴を上げている。
でも、時間がたつと少しずつこころはDポジションになっていきます。焼けた石が冷えていくのに似ています。
少し先の未来のことが考えられるようになり、過去の自分をふりかえることができます。
すると後先考えない行動は控えることができて、言葉も慎重なものになっていく。 -
Posted by ブクログ
実践的パフォーマンスエンジニアリングによるAI高速化
他著:株式会社フィックスターズ
他著:吉藤 尚生
他著:浅原 明広
出版社:技術評論社
本書は、AIの基盤の書ではなく、パフォーマンスの書である。
基盤については、GPUボードの中、GPUボード間での処理など複雑怪奇であり、C系の言語ありの、Kerbernetesありの、Linuxありのである。GPUボードには、GPU,CPU,メモリ、ディスク、ネットワークなどがあって処理と関連することが読んでいくとわかってくる。
性能劣化が起きた時の定跡は、測定⇒分析⇒実装⇒検証 である
まず、LLMありき、Metaが開発したオープンソースの Llama3 というモデルをつかっています。
LLMをつかえるようにするには、事前学習をして、世にだして、つかいながら、事後学習をとりこみながら成長を促していくというやり方です
LLMに文章を入力すると、トークンと呼ばれる語彙に分解されて処理が進んでいく、出力処理をされたものを
表示されるという流れである。
その処理を少しでも早くすること、最適化することが本書の目的である
LLMは、学習するときと、推論(いわゆる質問を処理するとき)とでは、ふるまいが違う。学習が入力で、推論が出力である
パフォーマンスエンジニアリングは、5段階
①ベースライン測定:正常な状態を定義する、標準値をしらべる入り口である
②プロファイリング:システム内部の様々な状態を収集する
③分析と仮説立案:得られたデータを分析し、なぜ遅くなっているのかを推定する
④パフォーマンス改善の実装:仮説にもとづいて、実際に改善の作業を行います
⑤効果の検証:実際に改善されたのかどうかを確認する作業です
計測はすくなくとも3回行います
①現状把握のための計測
②問題診断のための計測
③改善検証のための計測
代表的な性能指標
レイテンシ:いわゆる、応答時間
スループット:単位時間あたり、何件処理ができたか。全体の処理量をあらわす
使用率:GPUやCPUが稼働している率 0%~100% である
律速:本書で初めて聞いた単語で、ボトルネックのことをいう
GPU律速
CPU律速
メモリ律速 など、GPU律速とは、GPUがボトルネックになっていることをいう
計測結果からの原因究明例
GPU使用率が低いとき、GPUが次の処理を開始できずに待っている状態、CPUが前処理に時間がかかっている
並列度不足 利用率が低い時に、処理の多重度が低い
同期処理待ち ある処理が終わるのをまっている
カーネルが細分化されすぎている 細かい作業がたくさんあるため、オーバヘッドが大きくなっている
パフォーマンス改善のフレームワーク
Megatron-LM
vLLM
OpenMMLab
DeepSpeed
Zero などのフレームワークを使う
改善策
蒸留 扱いやすいように、モデルを変形する
枝刈り 冗長計算を除去
エキスパート 重要な部品のみを動的に選択する
量子化 演算するデータ幅を小さくする 3.141592.... を 3.14とするのが量子化
アルゴリズム改善
バッチ処理 まとめて処理することで効率化を図る
ミニバッチ学習 オンライン学習とバッチ学習を調整
勾配累積法 処理できる最大サイズでまとめて学習する
分散並列 (データ並列、テンソル並列、パイプライン並列、コンテキスト並列、エキスパート並列)
複数の並列をつかうことを、ハイブリッド並列という
4章から6章までは、LLMの改善
・LLM推論
・事後学習
・事前学習
7章、8章は、自動運転AI BEVFusion が対象 いわゆる フィジカルAIの例
・学習
・推論
目次
第1章 パフォーマンスエンジニアリング概論
1.1 パフォーマンスエンジニアリングとは
1.2 なぜ今パフォーマンスエンジニアリングか
1.3 AI 処理の概要
1.3.1 AI モデルとは
1.3.2 Llama3
1.3.3 BEVFusion
1.3.4 学習と推論
1.4 ハードウェア環境の概要
1.5 パフォーマンスエンジニアリングの実践方法
1.5.1 推測するな、計測せよ
1.5.2 体系的な分析手法:USE メソッドとRED メソッド
1.5.3 5 段階の実践プロセス
1.5.4 継続的パフォーマンスエンジニアリング
1.5.5 組織にパフォーマンス文化を根付かせる
1.6 本書の構成
第2章 まずはパフォーマンスを計測する
2.1 計測とは
2.2 計測の基本戦略
2.2.1 目的を定める
2.2.2 対象の絞り込み
2.2.3 理論性能と実効性能の差の把握
2.2.4 チェックリスト
2.3 計測のための基礎知識
2.3.1 ハードウェアの動作モデル
2.3.2 性能指標の種類
2.3.3 性能指標の取り扱い
2.3.4 性能のモデル化
2.3.5 仮説駆動の計測
2.3.6 計測における観測者効果
2.4 計測の実践
2.4.1 正しさの検証
2.4.2 タイマーによる時間計測
2.4.3 NVIDIA Nsight Systems
2.4.4 NVIDIA Nsight Compute
2.4.5 PyTorch Profiler
2.5 まとめ
第3章 次にパフォーマンスを改善する
3.1 どこから着手するか
3.1.1 効果の高いところから
3.1.2 優先順位の見極め
3.2 アプリケーション・データ層の改善
3.2.1 適切なモデル
3.2.2 高品質なデータ
3.2.3 目的達成に最適な処理方法
3.2.4 最適なAI 処理フレームワーク
3.2.5 MLOps を構築して持続的な性能維持
3.3 モデル・アルゴリズム層の改善
3.3.1 モデル改善
3.3.2 アルゴリズム改善
3.4 ソフトウェア・フレームワーク層の改善
3.4.1 集団通信手法の選定
3.4.2 複数台による処理:分散並列
3.4.3 メモリ余地の捻出
3.4.4 演算とそれ以外の同時実行
3.4.5 連続的なデータアクセス:テンソルの次元の順番
3.4.6 処理の固定:深層学習コンパイラ
3.4.7 特定のモデルに特化した高速ライブラリの利用
3.5 ハードウェア・カーネル層の改善
3.5.1 ハードウェアの特性に合わせた調整
3.5.2 カスタムカーネルによる演算コードの改善
3.5.3 ハードウェアの変更
3.6 まとめ
第4章 実践1:LLM 推論
4.1 問題設定
4.1.1 計測の対象
4.1.2 ベンチマークスクリプトの作成
4.1.3 本章の構成
4.2 ベースラインの計測
4.2.1 ベースラインの実行
4.2.2 理論限界スループットとの比較
4.2.3 PyTorch Profiler による分析
4.3 パフォーマンス改善の実践
4.3.1 改善策の実施と分析
4.3.2 性能の最大化:GPU 計算負荷の増加
4.3.3 メモリ使用量の削減:重みの量子化(Quantization)
4.3.4 バッチサイズの増加
4.3.5 モデルサイズの増加と投機的デコーディング
4.4 さらなる高みへ:推論エンジンと高度な技術
4.4.1 vLLM:高スループット推論エンジンの仕組み
4.4.2 vLLM によるベンチマーク結果
4.4.3 量子化による精度の補足
4.5 まとめ
第5章 実践2:LLM 事後学習
5.1 問題設定
5.1.1 環境構築
5.2 計測
5.2.1 学習時間とLoss 値の確認
5.2.2 NVIDIA Nsight Systems によるプロファイリング
5.2.3 PyTorch Profiler によるプロファイリング
5.3 パフォーマンス改善手法の考察
5.4 精度に影響のないパフォーマンス改善
5.4.1 MemoryCallback の削除
5.4.2 ハイパーパラメータチューニング
5.4.3 Torch Compile の適用
5.5 精度に影響のあるパフォーマンス改善
5.5.1 グローバルバッチサイズの調整
5.6 まとめ
第6章 実践3:LLM(継続)事前学習
6.1 問題設定
6.1.1 概要
6.1.2 LLM 学習処理のおさらい
6.2 評価基準の決定
6.3 観測と改善の繰り返し
6.3.1 初期問題の発見
6.3.2 最適化器の変更
6.3.3 プロファイリングで次の改善点を探す
6.3.4 ハイパーパラメータの調整
6.3.5 ハイパーパラメータチューニングの効果の確認
6.3.6 ハイパーパラメータの知見と影響の考察
6.4 まとめ
第7章 実践4:自動運転AI 学習
7.1 問題設定
7.2 プロファイルの設定
7.3 データローダーの分析
7.3.1 ログの確認によるデータローダー性能の評価
7.3.2 nsys によるデータローダーのプロファイリング
7.4 train プロセスの分析
7.5 Voxelize の分析と改善
7.6 TransFusionHead のget_targets の分析と改善
7.7 DepthLSSTransform の分析と改善
7.7.1 matmul の高速化
7.7.2 CPU 律速の改善
7.8 まとめ
第8章 実践5:自動運転AI 推論
8.1 問題設定
8.1.1 題材デバイス
8.1.2 題材モデル
8.1.3 使用ツールのバージョン
8.1.4 本章の構成
8.2 エッジデバイスへのデプロイの基本
8.2.1 高速なアクセラレータ・ランタイムエンジンの活用
8.2.2 カスタム実装
8.2.3 補足:モデルの修正
8.3 量子化適用の留意点
8.3.1 量子化の適用ステージ
8.3.2 混合精度量子化の留意点
8.3.3 キャリブレーション手法
8.3.4 対称量子化と非対称量子化
8.4 BEVFusion のデバイスへのデプロイ
8.5 CUDA-BEVFusion の更なる高速化(概要)
8.5.1 計測
8.6 CUDA-BEVFusion の更なる高速化(詳細)
8.6.1 Camera Backbone の改善
8.6.2 画像データの転送部の改善
8.7 まとめ
ISBN:9784297153496
判型:A5
ページ数:400ページ
定価:3400円(本体)
2026年01月31日初版第1刷発行