发布日期：2025-01-17 14:23 点击次数：194
又一个国产 AI 在外网被刷屏了！就去爱色色网
来感受一下这个 feel：
这个 AI，恰是来自面壁智能最新的模子——MiniCPM-o 2.6。
之是以如斯火爆，是因为它以只是8B的体量，在多模态材干上径直能跟 GPT-4o 掰手腕！
而且是在 iPad 上就能跑的那种哦（MiniCPM-o 2.6 开源地址如下）~
GitHub：https://github.com/OpenBMB/MiniCPM-o
Hugging Face：https://huggingface.co/openbmb/MiniCPM-o-2_6就去爱色色网
从宽敞网友们转发的实测体验来看，恶果亦然有点敬爱敬爱在身上的。
举例 MiniCPM-o 2.6 不错径直"盲听"声息，就知说念你在干什么：
翻书声、咳嗽声、倒水声、叩门声，声声精确识别。
不仅是听觉，在看和说方面，MiniCPM-o 2.6 亦然有两把刷子。
举例你 Pad 上的 MiniCPM-o 2.6，就不错"睁眼"玩儿三仙归洞，还能记着通盘牌被翻当年前的图案：
在说方面，MiniCPM-o 2.6 当今更天然了，不仅能演出新闻主播、学生等各式变装，以致连咖喱味的英文（印度口音）也能整出来。
天然，及时打断亦然不在话下：
网友们看罢" Awesome "声一派，有东说念主还直呼：
超酷的，我的 iPad 像有了第二个大脑。
而且不单是恶果，面壁智能一说念还把看、听、说等多模态材干在各项评测榜单的收货晒了出来。
从分数上来看，仅 8B 的 MiniCPM-o 2.6 举座材干还是不错跟 GPT-4o 并排，以致在好多细分面容中完了了杰出：
用面壁智能官方的话来说，MiniCPM-o 2.6 还是是开源社区最强语音通用模子、最强端侧视觉通用模子，以及最强及时流式多模态模子了。
那么在骨子体验历程中，它是否确凿如斯丝滑呢？
来一波实测
最初，咱们来看下 MiniCPM-o 2.6 的眼力水平到底怎么。
在这轮测试中，咱们演示了把原先"这是一张像片"这句话删除两个字，望望 MiniCPM-o 2.6 到底能不成看出来：
我刚才删除了哪两个字？
MiniCPM-o 2.6 精确地修起出了正确谜底：
你刚刚删除了"像片"两个字。
再来，咱们给它看一段《黑神话：悟空》中的经典片断，问它刚刚阿谁游戏叫什么：
MiniCPM-o 2.6 又答对了：
你展示的游戏是《黑神话：悟空》。
而之是以大致作念到这样精确，阐明面壁智能的先容，是因为 MiniCPM-o 2.6 还是作念到了真 · 看视频。
它并不是此前的"像片大模子"，即在用户发问之后，AI 才会初始对视频静态图片抽帧，无法修起发问之前的视频内容。
但真 · 看视频的大模子就不是这样，不错接续对及时视频和音频建模，这就更像东说念主类的眼睛了。
在视觉方面，除了视频以外，关于图片的贯通和推理，MiniCPM-o 2.6 的材干亦然更进一竿。
比如让它帮衬辅导疗养自行车座椅就去爱色色网。
从找到位置，再到挑选合适器用，它齐能正确 get 用户意图。
它也能化身学习搭子，帮衬解题。
天然，以上弘扬也基于 MiniCPM-o 2.6 强大的OCR（光学字符识别）材干。
官方宣称，它不错处理纵容宽高比，以及高达 180 万像素的图像（举例 1344x1344）。
比如径直瞄准 iPad，它就能识别屏幕上的内容。
在听方面，咱们刚才还是展示了好多案例，这里就不再叠加测试；咱们赓续潜入实测一波 MiniCPM-o 2.6说的材干。
举例这样的：
你帮我用四川话来教我一下奈何煮暖锅。
嗯，算是川味完全了。
由此可见，MiniCPM-o 2.6 在交互这块，是把看、听、说等交互模式给拿执住了。
那么接下来的问题是：
奈何作念到的？
空洞而言，面壁智能一直以来专注于面向边端算力场景进行极致优化，更敬重的是单设备处事的高效性。
换句话说，一切齐是为了能在手机、iPad 这样的端侧设备上更快、更好、更省的跑起来。
而 MiniCPM-o 2.6 给与的模子架构，不言而喻也贯彻了这一中枢盘算。
具体而言，之是以看神话万能，枢纽之一在于底下这个端到端全模态架构，它能将不同类型数据（如文本、图像、音频）的编码息争码模块通过端到端步地相连起来执行。
这种步地使得模子不是孤就地处理每种模态，而是综合磋议它们之间的联系和交互，充分交流了多模态常识。
而且历程中，完全使用交叉熵（CE）蚀本（无扶助 / 中间蚀本函数）进行端到端执行。
此外，为了安妥流式输入输出（即及时、低延长），无须像传统那样需要等所罕有据齐准备好再处理，面壁团队又进行了两方面动作。
一是上手矫正这些离线编 / 解码器模块，将其变成更适于流式输入 / 输出的在线模块；另一方面，针对大说话模子的基座，联想了时期复用的全模态流式信息处理机制（Omni-modality Time Division Multiplexer，OTDM）。
尤其是后者，它将同期并行输入的多模态（如视频流和音频流）按照时候轨则进行拆分和重组，酿成一个个小的周期性时候片序列。
如斯一来，在一个时候片内，不错先处理一小段视觉信息（如几帧图像），然后处理一小段音频信息（如几毫秒的音频波形），再将它们组合起来，从而幸免信息错乱。
接下来，经过 OTDM 处理后的多模态信息片断，赓续按照时候轨则传递给全模态流式主干网罗（Omni-Modality Streaming Backbone）。
算作架构的中枢部分，它被用来索要不同类型数据的特征，近似枢纽帧、枢纽音频等，然后再把它们交融起来。
hentai 动漫历程中，大说话模子讳饰层（图中 H0）被用作语音镶嵌，主如若为了最终更好地输出语音内容。
天然这一盘算也要靠临了的流式语音解码器（Streaming Speech Decoder），它将前边接受到的信息转动为语音形势输出。
而且值得一提的是，面壁团队还栽培了可成就的声息决议。
不仅联想了新的多模态系统领导，可径直通过笔墨 or 语音样例生成或遴荐声息立场，还营救端到端声息克隆和音色创建等高等材干。
总体来看，这一架构完了了多模态流式处理 + 声息的解放遴荐。也就是说，不管濒临哪种数据，齐能完了高效、低延长交互，从而成为神话看"六边形战士"。
事实上，从更大层面来说，算作"以小博大"的老手，本次发布的 MiniCPM-o 2.6 只是是面壁智能更大狡计的其中一环。
算作 2018 年脱胎于清华 NLP 实验室，国内最早进行大模子筹谋的一批东说念主，面壁团队逐步聚焦于更高效的端侧模子之路。
面壁智能 CEO李大海曾示意：
站在大模子期间之下，咱们齐在提的一个成见就是" AI 原生愚弄"；这个期间需要的全新操作系统，就是 AI 原生愚弄 +AI 原生硬件。
而其中的 AI 原生硬件，其实很简单，就是只消能在端侧运行大模子的硬件就是原生硬件。
因此，端侧的大模子就显得格外弥留。
而要念念在手机、PC 这样的端侧丝滑跑起来，大模子无疑要逍遥两点：要小，还要性能高效。
对此，早在 2020 年，他们就算作"悟说念"大模子首发主力声威发布了全球第一个 20 亿级汉文开源大模子 CPM 1，并接续参与了之后的 CPM 2 和 CPM 3。其中，4B 大小的 CPM 3 就能和 GPT-3.5 掰手腕了。
不错说，这一时期的面壁团队就还是初始惩处高效问题。
自后，当走红全网的"小钢炮"系列出来，他们也依旧延续了这全部线——
仅 2B 大小的 MiniCPM，在多项主流中英测评中均杰出"以小博大"的标杆之作 Mistral-7B，以致还能越级并排 Llama2-13B、MPT-30B、Falcon 40B 等模子。
而且价钱也打下来了，1 元 =1700000 tokens，本钱仅为 Mistral-Medium 百分之一。
这之后，当年一年里他们又陆续推出了一系列"以小博大"的产物。
以致就在刚刚甘休的 CES（国际浪掷电子展）上，面壁小钢炮 MiniCPM 系列也亮相了。
一个是旧年 9 月发布的 MiniCPM 3.0 文本模子，天然只消 4B 大小，但在代码、数学等材干上可达到 GPT-3.5 水平，况且营救无穷长文本。
另一个就是旧年 8 月发布的 MiniCPM-V 2.6 多模态模子，仅 8B 大小，不外据其时官方先容：
它不仅初度将超清 OCR 识图、及时视频贯通等材干集成到端侧，也初度在端侧达到单图、多图、视频贯通等多模态中枢材干全面杰出 GPT-4V。
而这一次的 MiniCPM-o 2.6，更是加上了多模态及时语音交互材干，离东说念主东说念主可用的端侧模子可谓更近了。
天然了，这也极大便利了视障东说念主士友好出行。因为真确的出行环境大多是荒谬嘈杂的，而大致部署在出动设备的端侧模子，平允恰在于不依赖网罗就能土产货运行。 ( 就像底下这个识别红绿灯的例子）
由于能在近似弱网断网场景中依旧平日责任，面壁智能的端侧模子领有了更多愚弄场景，也符合部署在智能眼镜等头戴式设备上。
更弥留的是，面壁智能还将这些端侧模子完全开源了。
有一说一，回归当年一年大模子的发展，国产开源力量们无疑弘扬亮眼。
这其中，从人人知名度和开源情况来看，DeepSeek、阿里 Qwen，以及本次提到的面壁智能，微辞已有"中国大模子开源三剑客"之势。
先说近的，横空出世的 DeepSeek-v3，以 1/11 算力执行出跨越 Llama 3 的开源模子，颠簸了通盘这个词 AI 圈。
而阿里 Qwen，更是隔一两个月就会刷新一次材干领域。
而且一直以来，面壁智能在开源这件事上比拟活跃，好多面容也受到了社区不少好评。
目下，MiniCPM-o 2.6 已在 GitHub 和 Hugging Face 开源，还有在线 demo免费可玩。
体验地址放文末了，宽宥自取 ~
临了，附一个面壁智能刚发的汉文版测试：
在线免费体验：
https://minicpm-omni-webdemo-us.modelbest.cn/
GitHub：
https://github.com/OpenBMB/MiniCPM-o
Hugging Face：
https://huggingface.co/openbmb/MiniCPM-o-2_6