Strata 使用體驗

閱讀到 〈兩個超棒工具：Headscale 和 Strata〉這篇文章，其中介紹了 Strata，剛好我的電腦硬體規格也跑得起來，就嘗試了一下。

Wiwi 在文中提到：

…但即使是這樣，之前也只能勉強執行 Qwen 3.8 27B 而已。

但有了 Strata 之後，同一台電腦現在竟然跑得動將近五倍大（125B）的 Qwen3.8-Flash-Next 模型，而且速度>還快了一倍！

在使用 Strata 之前，我的本機端 LLM 也是執行 Qwen 3.8 27B 語言模型，使用上每次都要啟動 27B 的參數量，每秒運算的 token 數並不會太多，而 Qwen3.8-Flash-Next 雖然是125B ，但當次使用只會啟動 6B 的參數量，產生文字的速度變得更快，做一些檔案處理和文件的操作完全沒問題！

圖片說明：選用的是 IQ3 XXS 量化的版本，雖然跑的起來，但會很誇張的吃滿系統記憶體和顯示卡記憶體

不過目前沒什麼專案可以執行，很無聊的用 opencompass 來測測看能力。

ARC-Challenge ：考驗 AI 的知識運用與推理能力（美國 3~9 年級的科學選擇題，換算起來算臺灣國小三年級到國中三年級）。
這次跑起來在 1,165 題中答對 1,140 題 取得 97.85% 正確率。

例題¹ ，大概這種難度：

為什麼大陸內陸地區的氣溫變化，通常比沿海地區更劇烈？

A. 海洋上方的雲比較多
B. 內陸地區的海拔通常較低
C. 沿海山脈阻擋了氣流
D. 海洋升降溫較慢，能調節附近氣溫

答案：D。 需要把海洋的熱容量與氣候調節作用連結起來。

如果遇到斷網， 我的電腦可以當作科學能力有 97.85 分的國中生了。（無聊的大人）