ai.hackcv
论文精选 60arXiv

A Picture is Worth a Thousand Tokens: How Vision Language Models Cut AI Energy Costs While Improving Accuracy· 一幅图等于千个 Token:视觉语言模型如何减少能耗

LLM inference accounts for over 90% of AI operational energy, scaling directly with input token count---a critical inefficiency for telecom network analytics and numerical time-series data analysis (NTSDA), where raw multivariate KPI windows from 4G/5G cell sites expand into thousands of floating-point tokens. Vision-Language Models (VLMs) eliminate this mismatch by encoding time-series as 2D plots, achieving 3.6-10.4x input token reduction across Llama-3.2-90B, Qwen2.5-VL-72B, and Pixtral-12B architectures. This translates to 1.8-2.5x measured inference energy reduction, saving approximately 7.2 MJ/day at telecom edge deployments and CloudRAN that monitor 200 cells per 15-minute interval. Critically, efficiency gains do not sacrifice accuracy: a fine-tuned Llama-3.2-90B-Vision VLM achieve

AI 解读论文

视觉语言模型通过将时间序列数据转换为2D图像,减少能耗同时提升准确率。

核心方法
利用视觉语言模型(VLMs)将时间序列数据编码为2D图像,显著减少输入的Token数量,降低能耗。
适合谁读
研究者、工程师、产品
要解决的问题
大规模语言模型在处理4G/5G网络的多变量KPI时间序列数据时,能耗高且效率低。
关键实验
实验结果显示,在Llama-3.2-90B、Qwen2.5-VL-72B和Pixtral-12B架构上,输入Token数量减少3.6-10.4倍,推理能耗减少1.8-2.5倍。
主要贡献
实现了1.8-2.5倍的推理能耗减少,并在电信边缘部署和CloudRAN中显著节省能耗,同时保持了模型的准确率。
意义与局限
该方法在处理大规模时间序列数据时具有显著的能效提升,对电信网络和时间序列数据分析有重要应用价值,但也可能受限于特定的数据类型和任务。
领域:cs.AI作者:Bhavika Jalli、Nikhil Korati Prasanna、Jayanta Choudhury
相关推荐

本站内容由 LLM 精选聚合,原文版权归 arXiv 所有 · 摘录仅供参考