AI в телефоне худеет, а APK наконец-то выдыхает 😄
28 октября Google обновила LiteRT в Google Play services. Для своих ML-моделей на Android можно использовать общий runtime вместо копии внутри каждого приложения.
По тестам Google, переход уменьшает приложение примерно на 8 МБ, а GPU-инференс через новый CompiledModel API работает примерно в 1,4 раза быстрее прежнего GPU delegate. Это результаты Google, не обещание такого же ускорения на любом телефоне.
Есть и skill для Android Studio: агент помогает перенести TFLite-код на CompiledModel и настроить GPU с fallback на CPU. Но diff, сборку и сравнение результатов на реальном устройстве проверяем сами.
Агент мигрирует код. Разработчик мигрирует от «вроде работает» к тестам ☕