微软以小搏大丝袜美腿 自拍偷拍 国产，发布首个开源 2B 参数范围"原生 1bit" LLM ——

BitNet b1.58 2B4T，单 CPU 就能跑，性能与同范围全精度开源模子非常。

它弃取三进制 {-1， 0， 1} 存储权重，相较于传统的 16 位浮点数可大幅裁汰显存需求。

只需 0.4GB 内存即可运转。

基于 4T token 语料纯属，BitNet b1.58 2B4T 在保抓性能的同期，经营效力特出。

单个 CPU 即可达到"与东说念主类阅读速率"非常的速率，每秒 5-7 个 token，CPU 端解码延伸 29ms，能耗低至 0.028J。

这种效力使其可在普通札记本电脑以致旯旮诞生上及时运转。

举例在苹果 M2 CPU 上快速运转：

另外值得一提的是，BitNet b1.58 2B4T 具有原生纯属上风，与纯属后量化（PTQ）模子对比，幸免了 PTQ 常见的性能衰减。

BitNet b1.58 2B4T 刚发布就眩惑了宽绰网友点赞保重，作家们也当起了我方个儿的自来水。

奈何齐备原生 1bit？话未几说，全部来望望技艺确定。

权重映射为三元值 {-1， 0， +1}

BitNet b1.58 2B4T 模子基于 Transformer 架构，对中枢组件进行了系统性矫正。

传统 LLM 依赖 16bit 或 32bit 浮点数存储权重，而 BitNet b1.58 2B4T 弃取一种称为absmean 的量化决策，将权重映射为三元值 {-1， 0， +1}，平均每个权重仅需 1.58bit（log ₂ 3 ≈ 1.58）来示意。

模子内存占用骤降至 0.4GB，仅为同类全精度模子的 1/5-1/12。

另外，线性投影中的激活值被量化为 8bit 整数，弃取基于每 token 的absmax 量化计谋，团队还引入subln 归一化，增强量化纯属剖判性。

其它环节预备包括：

激活函数：前馈收集（FFN）子层弃取 ReLU ² 替代常见的 SwiGLU，通过提高模子稀少性，优化了 1bit 环境下的经营特点。

位置编码：使用旋转位置镶嵌（RoPE）。

偏置摒除：与 Llama 等架构一致，扫数线性层和归一化层均移除偏置项，减少参数目并简化量化经过。

纯属方面，BitNet b1.58 2B4T 弃取三阶段纯属：大范围预纯属、监督微调（SFT）和径直偏好优化（DPO）。

先是大范围预纯属，模子履历了两阶段学习率救济：收成于 1bit 模子的纯属剖判性，初期弃取高学习率快速管理；中期骤降至低水平，使模子能在高质地数据上细致化调整。协作动态权重衰减计谋，模子在保抓泛化技艺的同期幸免过拟合。

监督微调（SFT）阶段，值得防御的是，纯属中弃取亏蚀函数乞降而非平均计谋，并延长了纯属轮次，这一调整被讲明对低精度模子的管理至关辛苦。

径直偏好优化（DPO）阶段，基于 UltraFeedback、MagPie 等东说念主类偏好数据集，模子通过无奖励模子的径直优化，提高了报告的安全性与用户酣畅度，幸免了传统 RLHF 的高经营老本。

现实成果方面，BitNet b1.58 2B4T 内存占用仅为 0.4GB，CPU 端解码延伸 29ms，能耗低至 0.028J。

在数学推理任务 GSM8K 中，BitNet 以 58.38 的准确率远超 Llama 3.2-1B（38.21）和 Qwen2.5-1.5B（56.79）；在知识推理任务 WinoGrande 中，BitNet 71.90 的得分超同类模子均值（63.55）。

团队突出指出，BitNet b1.58 2B4T 具有原生纯属上风。与纯属后量化（PTQ）模子对比，BitNet 的原生 1bit 纯属计谋幸免了 PTQ 常见的性能衰减。

参数更大的 Llama3-8B 模子量化至 1bit 后，也难打 BitNet b1.58 2B4T。

和其它 1bit 模子比较，BitNet b1.58 2B4T 也有权贵更强的全体性能，绝大多数基准测试中获取 SOTA。

关联 BitNet b1.58 2B4T 的具体透露，再来看几个例子。

让它生成几个见笑，见笑粗造但也蛮有真义：

稻草东说念主为何成为得胜的神经外科医师？报告是因为它在我方的领域很隆起（outstanding in his field）。

单 CPU 生成 97 个 token，总耗时 3.452 秒，每秒措置 28.1 token。

再让它基于 2000 年的布景，让一位 PowerPC 措置器爱重者和一位英特尔措置器爱重者进行五行辩说。

BitNet b1.58 2B4T 生成扫尾也很快，况兼反应了阿谁时期科技行业的竞争特点。

微软在 1 bit LLM 上的探索

1 bit LLM 的齐备要领，微软其实早在 2023 年就有关联接头，其时就称为 BitNet，用 BitLinear 替换了 nn.Linear。

之后，微软原班东说念主马在上一篇论文的基础之上作念了优化，冷漠 BitNet b1.58，在原始 BitNet 的基础上增多了一个特地的0 值。

也等于" The Era of 1-bit LLMs "这篇论文，用 6 页接头激勉网友日常保重。

这种要领发布后，也有不少东说念主在这项接头的基础之上进行探索。Huggingface Transformers 还曾整合了 BitNet b1.58，诈欺一些手段，使得现存模子不错径直微调到 1.58bit。

接着，微软还开辟并开源了针对 GPU 和 CPU 平台的专用推理库。

BitNet b1.58 弃取私有量化决策（1.58bit 权重和 8bit 激活值，W1.58A8）需要特地的齐备，法式深度学习库相似枯竭针对这种搀杂精度、低比特口头的优化内核，微软开辟了特地针对 W1.58A8 矩阵乘法的自界说 CUDA 内核。

另外，微软还开源了 bitnet.cpp ——一个用于 1 bit LLM CPU 推理的官方参考 C++ 库，提供针对法式 CPU 架构优化的内核，旨在高效适配模子的特定量化决策，尽可能幸免通用量化库的支出或复杂的底层位操作。

技艺证据：https://arxiv.org/abs/2504.12285

抱抱脸聚拢：https://huggingface.co/microsoft/bitnet-b1.58-2B-4T

参考聚拢：https://arstechnica.com/ai/2025/04/microsoft-researchers-create-super‑efficient-ai-that-uses-up-to-96-less-energy/

一键三连「点赞」「转发」「小心心」

接待在辩驳区留住你的思法！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见丝袜美腿 自拍偷拍 国产