Станислав Лукьянов — коммиттер Apache Ignite — с нуля разбирает, как устроены in-memory data grid: распределенные мапы, шардирование и ребалансировка, репликация и консистентность, SQL, коллокация, server-side compute, off-heap-хранение, Garbage Collector и JIT-компиляция. Сравнивает Apache Ignite с Redis, Hazelcast, Coherence и распределенными SQL-базами, объясняет, когда сложность такой технологии оправдана, и обсуждает ее будущее в стриминге, памяти агентов и LLM KV-кэшах.
Главы:
0:00 - Вступление: Ignite
1:00 - Как Apache Ignite стал технологическим феноменом
8:06 - Что такое in-memory data grid
13:10 - Серверная обработка и бесконечная мапа
19:40 - От Java HashMap к распределенному хранилищу
27:15 - Как разложить огромную мапу по машинам
33:36 - Эластичное шардирование: consistent и rendezvous hashing
44:46 - High availability начинается с репликации данных
50:07 - CAP-теорема: консистентность или доступность при разделении
58:04 - Подтверждение записи: от PrimarySync до Raft
1:03:05 - За пределами key-value: документы и SQL
1:09:38 - Decision support без превращения в OLAP
1:12:28 - Зачем SQL понадобился поверх хеш-мап
1:18:19 - Распределенный SQL, частичные результаты и шафлинг
1:26:47 - Коллокация: связанные данные должны лежать вместе
1:36:37 - Джойн, который наглядно объясняет коллокацию
1:40:41 - Collocated compute: переносим бизнес-логику к данным
1:46:45 - Динамический деплой кода, лямбды и санбоксы
1:54:47 - Почему русскоязычные инженеры полюбили дата-гриды
1:58:34 - Garbage Collector встречает low-latency нагрузки
2:07:15 - От распределенных объектов к off-heap storage
2:12:01 - Три причины перехода на off-heap
2:18:44 - Делает ли современный ZGC off-heap ненужным
2:23:33 - JIT-компиляция: Java против движков баз данных
2:29:35 - Когда не стоит выбирать распределенное хранилище
2:34:09 - Где дата-гриды оправдывают свою сложность
2:39:17 - Кризис идентичности in-memory data grid
2:42:10 - Могут ли дата-гриды пригодиться AI-агентам
2:46:01 - KV-кэши и распределенный AI-инференс
2:49:03 - Напутствие: изучайте системы, потом выбирайте инструмент
