アメリカ人、DeepSeekを魔改造、500万ドルの大量GPUが必要な学習処理を「30ドルのGPU」に移植

サムネイル
1 : 2025/01/31(金) 12:20:18.72 ID:ltLSOPI00
2 : 2025/01/31(金) 12:20:39.93 ID:ltLSOPI00
3 : 2025/01/31(金) 12:23:22.85 ID:a5SssfS70
クローンじゃなくて再現ね
4 : 2025/01/31(金) 12:24:28.23 ID:/xPAZnUq0
ローカル画像生成はよ
7 : 2025/01/31(金) 12:26:18.90 ID:3jyM98AH0
>>4
これ
5 : 2025/01/31(金) 12:25:40.61 ID:VRRiBbkq0
30ドルて
わざわざ取り付けんでも
もうVegaそのまま使えばええやん
6 : 2025/01/31(金) 12:26:00.17 ID:/d/p/5xn0
学習に必要な処理能力と推論に必要な処理能力はまるで違うのにミスリードする記事ばかり
9 : 2025/01/31(金) 12:28:15.03 ID:4EC7OMEq0
>>6
マスゴミ関係者が何も分かっていないんだと思うよ
半導体も全部一括りで語ってしまう脳しかないし
26 : 2025/01/31(金) 12:57:31.36 ID:td/8q5OS0
>>9
「謎の半導体企業nvidia」
33 : 2025/01/31(金) 13:45:42.55 ID:bREaeCaK0
>>26
あの記事はマジでないわ
19 : 2025/01/31(金) 12:36:54.75 ID:33QrAOLo0
>>6
なお当のマイクロソフトもDeepSeekを使用する模様
8 : 2025/01/31(金) 12:26:56.93 ID:EDy/AZ/y0
そのうち中古プレステーション4とかでAIできる未来が来るのかな
20 : 2025/01/31(金) 12:37:38.62 ID:I4bDp1bQ0
>>8
FC版ドラクエ4
27 : 2025/01/31(金) 12:58:44.55 ID:td/8q5OS0
>>20
ザラキをボスに撃つな
10 : 2025/01/31(金) 12:29:56.81 ID:zjvtnK5V0
アメリカが中国の技術をパクる時代になるとは
11 : 2025/01/31(金) 12:30:48.63 ID:nw78wx840
これは面白いね
ここから100ドル→千ドルと上げていけば学習能力はすごいことになりそう
14 : 2025/01/31(金) 12:33:29.99 ID:4EC7OMEq0
>>11
元が画像生成や動画生成に何処まで対応できてたのか知らんけど
それやったら元がポンコツで無ければ超進化でいけそうだ
12 : 2025/01/31(金) 12:31:07.44 ID:5PFfIHtb0
NVIDIAこれもうどーすんの…
13 : 2025/01/31(金) 12:32:48.49 ID:vaeM8jNR0
30ドルならCPU内蔵GPUでもオーバースペックだろw
16 : 2025/01/31(金) 12:34:59.82 ID:NFivZfNR0
魔改造の夜に出るの?
17 : 2025/01/31(金) 12:35:48.43 ID:kMgJ92Be0
それで500万$gpuぶん回せば神になれるのでは
22 : 2025/01/31(金) 12:39:12.87 ID:33QrAOLo0
>>17
ファミコンのエミュ動かすのにスパコン使うような金のかけ方
18 : 2025/01/31(金) 12:36:21.27 ID:SUVB36oK0
革ジャンはちょっと凹ませたい
23 : 2025/01/31(金) 12:48:35.73 ID:I5XukksF0
ワイのNPU搭載ノートPCが有効活用できるようになるのいつ?
24 : 2025/01/31(金) 12:52:44.98 ID:bO31LFyV0
ノートで学習出来るのはいいがそもそもデータセットは大量に必要だからサーバーは必要とかいうオチか?
28 : 2025/01/31(金) 13:08:25.22 ID:33QrAOLo0
>>24
大日本帝国のような大艦巨砲主義をやってるのがアメリカ
全部使うようなことは無いデータは外部に置きネットワークで参照する近代的なのが中国
例えば過去10年分の食事を記録に残していたとしても
最近同じようなものばかり食べてるから変わったもの食べたいなとなったときに
参照する「最近」のデータはせいぜい長くても数ヶ月程度でしょ
25 : 2025/01/31(金) 12:53:59.80 ID:I6H1cgiG0
富岳に移植できないの?
29 : 2025/01/31(金) 13:32:21.11 ID:YIyw8sru0
昔はこういうのやってたのは日本だったよな…。
平成のゴミ化によって、令和には日本人総ゴミへと至った。
30 : 2025/01/31(金) 13:41:52.93 ID:ZT/6zKJz0
昔のUNIX板ならこういうのやったかもな
32 : 2025/01/31(金) 13:44:53.41 ID:n50stgc+0
量子化によりメモリ使用量が削減され計算速度が向上し消費電力を削減しより効率的な計算を可能になる天秤にかけたギリギリのバランスを見つける為、unsllothの兄弟は96時間ぶっ続けでDeepSeek-R1のアーキテクチャを解析しモデルの各部分に対し異なる圧縮率をぶつけ量子化する「動的量子化」を行ったとの事。
結果、元のモデルサイズが720GBに対し驚喜の131GBにまで、おおよそ約80%の削減を実現することに成功したとunslothは報告しています。
動的量子化されたDeepSeek-R1は、VRAMとRAMが合計80GB以上の環境で最適に動作したとのこと。
34 : 2025/01/31(金) 13:45:44.97 ID:n50stgc+0
具体的な性能としてスループットで毎秒140トークン、単一ユーザーの推論で毎秒14トークンを達成したそうです。GPUがなくても20GBのRAMがあれば動作可能です。しかしその場合は処理速度が遅くなります。
unslothが動的量子化した4モデルはHugging Faceで公開されておりllama.cppやOllama、vLLMなどさまざまなフレームワークで利用可能です。

中国人から更に各国にヒントを与えてしまったようだな。

コメント

タイトルとURLをコピーしました