Strata 使用體驗
閱讀到 〈兩個超棒工具：Headscale 和 Strata〉這篇文章，其中介紹了 Strata，剛好我的電腦硬體規格也跑得起來，就嘗試了一下。Wiwi 在文中提到：…但即使是這樣，之前也只能勉強執行 Qwen 3.8 27B 而已。但有了 Strata 之後，同一台電腦現在竟然跑得動將近五倍大（125B）的 Qwen3.8-Flash-Next 模型，而且速度>還快了一倍！在使用 Strata 之前，我的本機端 LLM 也是執行 Qwen 3.8 27B 語言模型，使用上每次都要啟動 27B 的參數量，每秒運算的 token 數並不會太多，而 Qwen3.8-Flash-Next 雖然是125B ，但當次使用只會啟動 6B 的參數量，產生文字的速度變得更快，做一些檔案處理和文件的操作完全沒問題！圖片說明：選用的是 IQ3 XXS 量化的版本，雖然跑的起來，但會很誇張的吃滿系統記憶體和顯示卡記憶體不過目前沒什麼專案可以執行，很無聊的用 opencompass 來測測看能力。ARC-Challenge ：考驗 AI 的知識運用與推理能力（美國 3~9 年級的科學選擇題，換算起來算臺灣國小三年級到國中三年級）。這次跑起來在 1,165 題中答對 1,140 題 取得 97.85% 正確率。例題1 ，大概這種難度：為什麼大陸內陸地區的氣溫變化，通常比沿海地區更劇烈？A. 海洋上…
