Предобработка файлов
Сейчас мы уже умеем разбивать файлики на токены. В момент построения индекса мы разбиваем каждый файлик на токены, при этом никак не сохраняем их. В момент, когда мы обрабатываем поисковый запрос, мы снова запускаем токенайзер - то есть выполняем двойную работу. Нужно научиться сохранять токенизированные файлы