在轻薄本上体验生成式AI和大语言模型英特尔给出的答案是肯定的

来源：中关村在线　2023-08-19 06:00:37

【资料图】

现阶段AI应用有两个离不开，一个是离不开网络，不少AI应用的计算过程是在云端进行的，无法脱离网络；另一个是离不开强大的算力，比如生成式AI，往往依赖规格很强的显卡。这两个离不开也意味着，大家很难在移动设备上体验到AI所带来的便利。不过英特尔却表示，这些都可以在搭载了英特尔酷睿处理器和锐炫显卡的PC上得到支持，包括便携性极强的轻薄本。

那么，英特尔是如何做到的？我们从开篇提到的两个离不开说起。

依赖云的代表就是大语言模型了，如何把大语言模型从云端搬到本地，英特尔先优化了模型，降低了模型对于硬件的要求。然后通过第13代酷睿的XPU加速、low-bit量化和其他层面的优化，实现了160亿参数的大语言模型。然后通过BigDL-LLM框架，让其可以在内存容量为16GB及以上的笔记本上运行。

从实际的演示效果来看，即使是轻薄本，运行大语言模型的效率还是非常不错的，速度完全不会影响到阅读，满足使用是没有问题的。如此出色的表现，在PC个人助理等方面有着非常不错的应用前景。

依赖强算力的代表就是Stable Diffusion了，英特尔的做法是，除了依靠本身不错的硬件外，还与AI社区构建软件生态。英特尔积极拥抱AI社区，在OpenVINO PyTorch后端方案的基础上，通过Pytorch API让开源模型可以在英特尔的处理器、显卡（集成和独立）和专用AI引擎上运行。

目前已经通过这种方式，实现了Stable Diffusion的Automatic1111 WebUI的运行。它可以在搭载英特尔处理器和独显的PC上运行FP16精度模型。从现场演示的效果来看，生成一张512x512的图片，2-3秒钟就可以完成，效率还是比较可观的。

在文字生成图片、图片生成图片和图片修复等方面，这项功能的实用性非常强。

通过构建生态和模型优化，再加上本身英特尔酷睿处理器和锐炬显卡的强大性能，英特尔实现了在个人PC上运行大语言模式和生成式AI，并且实际效果超出预期，可用性非常不错。这也意味着，未来越来越多AI场景都可以在个人PC上落地，不仅仅是在台式机上，包括更加便携的轻薄本等设备上。在AI的辅助下，个人PC的使用体验将会迎来革命性的进步。

推荐DIY文章