InsightsСтатьи

Notes on associative memory, the math behind it, and where it's going. Заметки об ассоциативной памяти, математике за ней и о том, куда всё движется.

01 · Fundamentals

Why associative memory beats vector RAG

Vector RAG matches on surface similarity: no shared keywords, no hit. It cannot connect "I dislike Python" to a later "what should I write this script in?" — the words don't overlap.

Read the full article →

Почему ассоциативная память сильнее векторного RAG

Векторный RAG ищет по поверхностному сходству: нет общих слов — нет результата. Он не свяжет «не люблю Python» с более поздним «на чём написать скрипт?» — слова не пересекаются.

Читать статью целиком →
02 · Theory

Sparse Distributed Memory ≈ Attention

The engine is Kanerva's SDM, first described at MIT. Recent work (2021–2026) proved it is mathematically equivalent to the Attention mechanism inside Transformers — the very thing that powers GPT-4 and Claude.

Read the full article →

Разреженная распределённая память ≈ Attention

В основе — SDM Канервы, впервые описанная в MIT. Недавние работы (2021–2026) доказали её математическую эквивалентность механизму Attention в трансформерах — тому самому, на котором работают GPT-4 и Claude.

Читать статью целиком →
03 · Frontier

From AI memory to a robot's "muscle memory"

Kanerva designed SDM as a digital model of the cerebellum — the seat of motor skill. For narrow, motor tasks (walking, skating) that turns a weakness into a strength: repetition builds a stable interference pattern. The more it walks, the better it walks.

Read the full article →

От памяти ИИ к «мышечной памяти» робота

Канерва задумывал SDM как цифровую модель мозжечка — центра моторики. Для узких моторных задач (ходьба, катание) это превращает минус в плюс: повторение формирует устойчивую интерференционную картину. Чем больше ходишь — тем лучше ходишь.

Читать статью целиком →