WASTE 开源，Kimi K3 可在 64GB MacBook 上运行

边缘数据库公司 SQLite AI 开源推理引擎 WASTE，允许完整的 Kimi K3 在 64GB MacBook Pro 上运行。转换后的模型约占 1TB，速度为每秒 0.49 至 0.54 个 Token。WASTE 将约 27GB 的模型主干保留在内存中，8 万多个专家存储在内置 SSD 中，每生成一个 Token 仅从硬盘读取当前调用的专家。该版本未进行蒸馏、裁剪或删除专家，但专家权重被重新量化到 3-bit，模型主干采用 4-bit 和 8-bit。

本内容仅供参考，不构成任何金融、投资、法律或税务建议。文中提及的任何活动、奖励、线上活动或相关信息，不应被视为对购买、出售或交易任何加密资产的推荐、招揽或邀请。加密资产具有高波动性，存在价值损失风险。WEEX服务、产品及相关活动的可用性可能因地区而异。用户在参与前有责任确保符合当地适用法律法规。