Может показаться, что размер батча стоит просто сделать как можно больше до такой степени, пока будет влезать в доступную память, - и тогда каждый шаг обучения становится мощнее с точки зрения импакта на параметры.

Но давайте посмотрим на это чуть ближе. Для обучения можно определить две независимые оси, по которым нужно проводить оптимизации:

• Число шагов
• Тотальное количество обработанных примеров (батч × шаги)

Число шагов - это мера серийного время. Каждый шаг идеи строго один за другим, и этот процесс не параллелится. Чем меньше таких шагов, тем быстрее в абсолюте мы можем обучить модель.

Тотальное количество обработанных примеров - это суммарный компьют, получается из размер батча × число шагов.

Каждый пример, прогнанный через модель, стоит каких-то вычислений (FLOPs). Меньше примеров в батче, меньше сожженного компьюта.

И тут мы приходим к следующим трейд-оффам.

Если размер батча большой:

• то шагов нужно меньше, и мы экономим абсолютное время обучения
• при этом за каждый шаг мы делаем вычисления для кучи примеров (как мы покажем ниже, лишних), и тратим компьют избыточно.

Если размер батча маленький, то

• мы экономим компьют, не расползаясь на лишнее пространство за шаг
• но шагов нужна тьма, и пока мы модель обучим, эксперимент проведем, вселенная погибнет.

И рыбку съесть, и на хуй залезть не получается.

Тут важно понимать, что оси, которые мы рассматриваем, не приводимы. Можно попробовать сказать и там, и там что-то тратится, это все - какое-то время, а значит - какие-то вычисления и какой-то компьют, но это не так.

Давайте чуть подробнее:

• Компьют распараллеливается деньгами: чем больше видеокарт тем больший батч может обрабатываться за один шаг, примеры внутри батча считаются независимо и параллельно на этих видеокартах
• Шаги же обучения не распараллеливаются ничем: для шага N+1 нужен результат шага N - апдейтнутые веса, это все происходит строго последовательно. Это время, которое не купишь бюджетом.

Компьют покупается, а шаги - нет. Даже с бесконечными картами каждый шаг ждет предыдущий. Число обновлений весов до нужного качества является неустранимой последовательностью.