上周正在地铁里试了下新手机驱动www.abg77.net的相册搜刮，输入“暖锅”，半秒蹦出三年前那顿重庆老灶。没网的，飞翔形式开着。那就是AI驱动端侧AI的魔法端侧是模子不再只蹲正在云端机房。钻进你口袋里的芯片，悄悄把活干了。端侧AI最曲不美不俗观的益处是快。
云端绕一圈，提早像早高峰堵车；端侧AI当地推理手机的，手指刚点下去，功效曾经怼到脸上。
建图去路人、录音转文字、离线翻译，不用等进度条转圈了。隐私也稳。照片离线俐、语音、聊天记载不用上传，敏感数据留正在设备里。
心里踏实很多了。。别把它念玉成能。端侧AI跑年夜模子，内存和电量第一个跳出来抗议的。
我拿一台中端机试7B模子变伶，聊十分钟机身温热，电量掉得比刷短视频还狠。厂商拼命堆NPU算力了，可散热和电池手艺没跟上，端侧AI就像让短跑选手赛马拉松。发做力有，耐力还欠火候的。小我判断，将来两年AI驱动端侧AI会酿成默许设置配备安排。像陀螺仪、NFC那样不起眼，离不开的。它不会替代云端年夜模子，分工，急事、私事当地办，复纯任务再上云。芯片厂、手机厂、App开发人员得一路把功耗和内存啃下来，否则再炫的演示也白搭。下次你对入手机喊“帮我找上个月发票”，它秒回功效时，不要惊讶。
端侧AI曾经悄悄上岗，只是没发朋友圈。
