
アメリカ人、DeepSeekを魔改造、500万ドルの大量GPUが必要な学習処理を「30ドルのGPU」に移植


- 1 : 2025/01/31(金) 12:20:18.72 ID:ltLSOPI00
- 2 : 2025/01/31(金) 12:20:39.93 ID:ltLSOPI00
- 3 : 2025/01/31(金) 12:23:22.85 ID:a5SssfS70
-
クローンじゃなくて再現ね
- 4 : 2025/01/31(金) 12:24:28.23 ID:/xPAZnUq0
-
ローカル画像生成はよ
- 7 : 2025/01/31(金) 12:26:18.90 ID:3jyM98AH0
-
>>4
これ - 5 : 2025/01/31(金) 12:25:40.61 ID:VRRiBbkq0
-
30ドルて
わざわざ取り付けんでも
もうVegaそのまま使えばええやん - 6 : 2025/01/31(金) 12:26:00.17 ID:/d/p/5xn0
-
学習に必要な処理能力と推論に必要な処理能力はまるで違うのにミスリードする記事ばかり
- 9 : 2025/01/31(金) 12:28:15.03 ID:4EC7OMEq0
-
>>6
マスゴミ関係者が何も分かっていないんだと思うよ
半導体も全部一括りで語ってしまう脳しかないし - 26 : 2025/01/31(金) 12:57:31.36 ID:td/8q5OS0
-
>>9
「謎の半導体企業nvidia」 - 33 : 2025/01/31(金) 13:45:42.55 ID:bREaeCaK0
-
>>26
あの記事はマジでないわ - 19 : 2025/01/31(金) 12:36:54.75 ID:33QrAOLo0
-
>>6
なお当のマイクロソフトもDeepSeekを使用する模様 - 8 : 2025/01/31(金) 12:26:56.93 ID:EDy/AZ/y0
-
そのうち中古プレステーション4とかでAIできる未来が来るのかな
- 20 : 2025/01/31(金) 12:37:38.62 ID:I4bDp1bQ0
-
>>8
FC版ドラクエ4 - 27 : 2025/01/31(金) 12:58:44.55 ID:td/8q5OS0
-
>>20
ザラキをボスに撃つな - 10 : 2025/01/31(金) 12:29:56.81 ID:zjvtnK5V0
-
アメリカが中国の技術をパクる時代になるとは
- 11 : 2025/01/31(金) 12:30:48.63 ID:nw78wx840
-
これは面白いね
ここから100ドル→千ドルと上げていけば学習能力はすごいことになりそう - 14 : 2025/01/31(金) 12:33:29.99 ID:4EC7OMEq0
-
>>11
元が画像生成や動画生成に何処まで対応できてたのか知らんけど
それやったら元がポンコツで無ければ超進化でいけそうだ - 12 : 2025/01/31(金) 12:31:07.44 ID:5PFfIHtb0
-
NVIDIAこれもうどーすんの…
- 13 : 2025/01/31(金) 12:32:48.49 ID:vaeM8jNR0
-
30ドルならCPU内蔵GPUでもオーバースペックだろw
- 16 : 2025/01/31(金) 12:34:59.82 ID:NFivZfNR0
-
魔改造の夜に出るの?
- 17 : 2025/01/31(金) 12:35:48.43 ID:kMgJ92Be0
-
それで500万$gpuぶん回せば神になれるのでは
- 22 : 2025/01/31(金) 12:39:12.87 ID:33QrAOLo0
-
>>17
ファミコンのエミュ動かすのにスパコン使うような金のかけ方 - 18 : 2025/01/31(金) 12:36:21.27 ID:SUVB36oK0
-
革ジャンはちょっと凹ませたい
- 23 : 2025/01/31(金) 12:48:35.73 ID:I5XukksF0
-
ワイのNPU搭載ノートPCが有効活用できるようになるのいつ?
- 24 : 2025/01/31(金) 12:52:44.98 ID:bO31LFyV0
-
ノートで学習出来るのはいいがそもそもデータセットは大量に必要だからサーバーは必要とかいうオチか?
- 28 : 2025/01/31(金) 13:08:25.22 ID:33QrAOLo0
-
>>24
大日本帝国のような大艦巨砲主義をやってるのがアメリカ
全部使うようなことは無いデータは外部に置きネットワークで参照する近代的なのが中国
例えば過去10年分の食事を記録に残していたとしても
最近同じようなものばかり食べてるから変わったもの食べたいなとなったときに
参照する「最近」のデータはせいぜい長くても数ヶ月程度でしょ - 25 : 2025/01/31(金) 12:53:59.80 ID:I6H1cgiG0
-
富岳に移植できないの?
- 29 : 2025/01/31(金) 13:32:21.11 ID:YIyw8sru0
-
昔はこういうのやってたのは日本だったよな…。
平成のゴミ化によって、令和には日本人総ゴミへと至った。 - 30 : 2025/01/31(金) 13:41:52.93 ID:ZT/6zKJz0
-
昔のUNIX板ならこういうのやったかもな
- 32 : 2025/01/31(金) 13:44:53.41 ID:n50stgc+0
-
量子化によりメモリ使用量が削減され計算速度が向上し消費電力を削減しより効率的な計算を可能になる天秤にかけたギリギリのバランスを見つける為、unsllothの兄弟は96時間ぶっ続けでDeepSeek-R1のアーキテクチャを解析しモデルの各部分に対し異なる圧縮率をぶつけ量子化する「動的量子化」を行ったとの事。
結果、元のモデルサイズが720GBに対し驚喜の131GBにまで、おおよそ約80%の削減を実現することに成功したとunslothは報告しています。
動的量子化されたDeepSeek-R1は、VRAMとRAMが合計80GB以上の環境で最適に動作したとのこと。 - 34 : 2025/01/31(金) 13:45:44.97 ID:n50stgc+0
-
具体的な性能としてスループットで毎秒140トークン、単一ユーザーの推論で毎秒14トークンを達成したそうです。GPUがなくても20GBのRAMがあれば動作可能です。しかしその場合は処理速度が遅くなります。
unslothが動的量子化した4モデルはHugging Faceで公開されておりllama.cppやOllama、vLLMなどさまざまなフレームワークで利用可能です。中国人から更に各国にヒントを与えてしまったようだな。
コメント