DARTA, Москва. Каждая нода — пчела. Связанные ноды — рой. Искать люди заходят на улей своего края.
Главная / Продукты MAG / Пчелопоиск
Что это
Пчелопоиск — поисковая система. В коде она называется MDS. Каждую работающую копию зовут пчелой. Несколько связанных пчёл — рой. Улей — вход своего края: туда люди пишут запрос. Сеть ульев по стране — пасека.
Зачем
Обычный поиск забирает страницы одним центральным роботом и держит старый снимок, пока сам не зайдёт снова. Здесь индекс живёт на нодах. Кто поставил полную ноду — получает свой поиск. Кто поставил лёгкую пчелу на сервер сайта — попадает в индекс улья, не держа гигабайт модели рядом с сайтом.
Для кого
Кто хочет искать не только в Google и Яндексе
Кто готов поставить полную ноду: свой поиск и свой кусок индекса
Сайты на маленьком VPS: лёгкая пчела рядом с сайтом
Свободный компьютер с исходящим интернетом, без своего домена
Что умеет
Пчела, рой, улей
Одна нода — пчела. Связанные ноды — рой. Улей — региональный вход, с которого люди ищут. Это не каталог продавцов и не прокси.
Полная нода
Обходит страницы, хранит индекс, считает смысл запроса и открывает свою строку поиска. Нужны модель (около 1 ГБ памяти) и место под индекс. Видеокарта не нужна.
Лёгкая пчела
Для маленького сервера сайта. Без модели, без своего индекса и без открытого поиска. Отдаёт улью свои страницы и несколько чужих адресов из его очереди.
Свободный компьютер
Тот же mds, без своего домена. Можно искать локально и отдавать улью обойдённые страницы. Белый адрес нужен улью, не домашней машине.
Как ищется запрос
По словам и по смыслу сразу. Точное название не теряется, близкая по смыслу страница тоже находится. Сначала страницы своего края, ниже — остальные.
Открытый код
Исходники: github.com/artemklimovich/mds. Ставят подписанный пакет с версией, не сборку с main. Одна программа, разные команды запуска.
Задача
С какой боли начинали
Либо один центральный робот на всех, либо тяжёлая нода с моделью на каждом сайте. Маленькому серверу некуда деть гигабайт памяти и чужой поиск. Слать одни и те же страницы по кругу тоже незачем.
Как сделали
Решение лаборатории
Собрали MDS. Улей своего края принимает людей и держит индекс. Полная нода считает запрос и отвечает. На сервере сайта — лёгкая пчела и карточка /.well-known/pchela.txt. Так стоит dartalab.ru: пчела рядом с сайтом, искать — на улье.
Что получилось
Люди ищут на улье, а не на каждом сайте
Полная нода даёт свой поиск и свой кусок индекса
Лёгкая пчела заводит сайт в индекс без модели
Код открыт, на машину кладут подписанный пакет
Технологии
Весь стек DARTAlabRust (mds)
Одна программа: полная нода, лёгкая пчела, свободный компьютер
Гибридный индекс
Слова в SQLite и смысл запроса моделью на процессоре
Улей и протокол нод
Ноды говорят между собой, люди заходят на улей
pchela.txt
Карточка сайта для лёгкой пчелы, общий пароль не нужен
multilingual-e5-small
Модель полной ноды, около 1 ГБ, видеокарта не нужна
Подписанные пакеты
GitHub и зеркало на улье, файл без подписи нода не запускает
Частые вопросы
Другие продукты MAG
Нужен этот контур у вас
Откройте живой продукт или напишите — разберём задачу, тариф и внедрение. Реклама и разработка под ключ остаются отдельными проектами после переговоров.