koustinov
Писатель
- Регистрация
- 2 Май 2019
- Сообщения
- 5
- Реакции
- 19
- Автор темы
- #1
Mojeek: результаты поиска не зависят от Google, Microsoft и «Яндекс»
Большинство поисковых систем предоставляют результаты из Google или Bing. Британская компания Mojeek создала собственную поисковую систему с нуля — с независимым поисковым индексом и алгоритмом. В статье наш разговор с генеральным директором Mojeek Колином Хейхерстом.
Колин Хейхерст (Для просмотра ссылки Войдиили Зарегистрируйся) — новый генеральный директор конфиденциальной поисковой системы Для просмотра ссылки Войди или Зарегистрируйся. Он был управляющим и одним из основателей стартапов в области высокопроизводительных вычислений, машинного обучения и веб-инфраструктуры. Одна из его компаний вошла в когорту известного акселератора Y Combinator в 2012 году.
Mojeek — это поисковой движок, а не поисковый агрегатор. Что это означает на практике и что именно необходимо для создания поисковой системы с нуля?
Это означает, что мы больше ориентированы на продукт, чем на маркетинг. Это меняет многое и отличает нас от компаний, занимающихся метапоисковыми системами — от DuckDuckGo, Ecosia, Startpage или Qwant.
Мы непрерывно сканируем Интернет, обновляя наш собственный ссылочный граф, базу данных веб-страниц и алгоритм ранжирования. Код был написан с нуля на языке C, и до недавнего времени почти весь он был создан Марком Смитом, нашим основателем. На разработку у него ушло 16 лет.
Единственный открытый исходный код, который мы используем, — это cURL, совсем недавно мы тестировали LMDB. Все остальное, включая наши поисковые базы данных, было разработано с нуля, поэтому вы можете себе представить, какую невероятную работу проделал Марк.
Это означает, что мы можем предоставлять результаты поиска, не зависящие от Google, Microsoft и «Яндекс».
Какую технологию вы используете?
Наши собственные серверы на “голом” железе размещены в самом экологичном центре обработки данных Великобритании, Для просмотра ссылки Войдиили Зарегистрируйся. У нас есть собственный робот MojeekBot, который сканирует Интернет. Собранные нами просканированные страницы организуются в базу данных или индекс с возможностью поиска. С учетом того, что проиндексированы миллиарды страниц, нам пришлось написать нашу технологию баз данных, чтобы справиться с нестандартными запросами.
Наши веб-службы используют язык программирования PHP. Мы не отслеживаем пользователей, и, хотя мы используем JavaScript во внешнем интерфейсе, на нашем сайте он отключен. Это важно для людей, которые отключают JavaScript из соображений безопасности.
Используемые нами операционные инструменты в основном размещаются на собственном хостинге и включают Nextcloud, FastMail, Zulip и Gitlab.
Каков текущий размер вашего индекса? Какая цель на будущее?
В настоящее время наш индекс составляет 3,26 миллиарда страниц. У нас есть цель достичь 5,7 млрд к июню 2021 года.
Какие варианты конфигурации вы предлагаете? Как вы планируете их расширять?
Мы известны благодаря поисковой системе mojeek.com. Однако мы также предлагаем поиск по сайту. Усовершенствования, внесенные в недавний проект с издателем, теперь доступны любой организации. Мы также предлагаем API, позволяющий разработчикам создавать собственные поисковые решения.
Благодаря недавним инвестициям и растущей команде мы планируем расширить услуги, например, добавить карты и данные о компаниях. Для нас большая краткосрочная задача — лучше понять, чего хотят пользователи. Мое участие позволит Марку, в частности, уделять больше времени созданию, и мы сможем оптимизировать нашу карту развития.
Как конфиденциальная поисковая система вы не отслеживаете своих пользователей. Поскольку вы не можете использовать сбор данных для определения вероятных потребностей пользователя, как вы справляетесь с трудностью предоставления точных результатов по запросу с неоднозначными условиями поиска?
Конечно, когда люди используют поисковую систему, они ищут информацию в различных вариациях. Таким образом, используемые поисковые запросы почти всегда имеют некий скрытый смысл.
Прогнозирование потребностей и желаний на основе собранных личных данных, на наш взгляд, носит манипулятивный характер. Этот механизм нужен компаниями, занимающимися рекламными технологиями и Big Data, не столько для улучшения своих услуг, сколько для оптимизации доходов от рекламы.
В некоторых случаях это помогает повысить релевантность, но может иметь последствия, наиболее заметным из которых является пузырь фильтров (предвзятый или персонализированный поиск). Направлять на релевантный контент с разных точек зрения также важно, как и использовать предположения о том, что ищет пользователь.
Вот почему мы считаем важным наличие независимого поискового индекса и алгоритма. Когда почти каждая поисковая система получает свои результаты из Google и Bing, именно Google и Bing формируют большую часть информации, которую может увидеть человек.
Как пользователи Mojeek могут самостоятельно убедиться, что их конфиденциальность действительно соблюдается?
Это отличный вопрос, и честный ответ — никак. Все сводится к вопросу доверия. Даже с открытым исходным кодом или при проведении независимых аудитов проверка этих вопросов не является гарантией. На практике компания может использовать другую версию своего исходного кода, включать или отключать функции во время аудита.
Mojeek — официальная британская компания с четкой и краткой Для просмотра ссылки Войдиили Зарегистрируйся. Мы точно определяем, какую очень ограниченную информацию мы регистрируем. Например, мы не регистрируем IP-адреса. При этом мы открыты для изучения способов, позволяющих нашим пользователям быть более уверенными в этом вопросе.
Как вы видите Mojeek через пять лет?
Наша цель — сделать так, чтобы сервисы на базе Mojeek стали надежной альтернативой Google, Bing и «Яндекс». Эти три поисковые системы имеют индекс выше нашего. Наличие независимой технической базы означает, что мы и будущие партнеры можем предложить реальную альтернативу поиску, который предлагается крупными технологиями Китая, России и США. К тому времени мы также построим устойчивый бизнес.
Источник Для просмотра ссылки Войдиили Зарегистрируйся
Большинство поисковых систем предоставляют результаты из Google или Bing. Британская компания Mojeek создала собственную поисковую систему с нуля — с независимым поисковым индексом и алгоритмом. В статье наш разговор с генеральным директором Mojeek Колином Хейхерстом.
Колин Хейхерст (Для просмотра ссылки Войди
Mojeek — это поисковой движок, а не поисковый агрегатор. Что это означает на практике и что именно необходимо для создания поисковой системы с нуля?
Это означает, что мы больше ориентированы на продукт, чем на маркетинг. Это меняет многое и отличает нас от компаний, занимающихся метапоисковыми системами — от DuckDuckGo, Ecosia, Startpage или Qwant.
Мы непрерывно сканируем Интернет, обновляя наш собственный ссылочный граф, базу данных веб-страниц и алгоритм ранжирования. Код был написан с нуля на языке C, и до недавнего времени почти весь он был создан Марком Смитом, нашим основателем. На разработку у него ушло 16 лет.
Единственный открытый исходный код, который мы используем, — это cURL, совсем недавно мы тестировали LMDB. Все остальное, включая наши поисковые базы данных, было разработано с нуля, поэтому вы можете себе представить, какую невероятную работу проделал Марк.
Это означает, что мы можем предоставлять результаты поиска, не зависящие от Google, Microsoft и «Яндекс».
Какую технологию вы используете?
Наши собственные серверы на “голом” железе размещены в самом экологичном центре обработки данных Великобритании, Для просмотра ссылки Войди
Наши веб-службы используют язык программирования PHP. Мы не отслеживаем пользователей, и, хотя мы используем JavaScript во внешнем интерфейсе, на нашем сайте он отключен. Это важно для людей, которые отключают JavaScript из соображений безопасности.
Используемые нами операционные инструменты в основном размещаются на собственном хостинге и включают Nextcloud, FastMail, Zulip и Gitlab.
Каков текущий размер вашего индекса? Какая цель на будущее?
В настоящее время наш индекс составляет 3,26 миллиарда страниц. У нас есть цель достичь 5,7 млрд к июню 2021 года.
Какие варианты конфигурации вы предлагаете? Как вы планируете их расширять?
Мы известны благодаря поисковой системе mojeek.com. Однако мы также предлагаем поиск по сайту. Усовершенствования, внесенные в недавний проект с издателем, теперь доступны любой организации. Мы также предлагаем API, позволяющий разработчикам создавать собственные поисковые решения.
Благодаря недавним инвестициям и растущей команде мы планируем расширить услуги, например, добавить карты и данные о компаниях. Для нас большая краткосрочная задача — лучше понять, чего хотят пользователи. Мое участие позволит Марку, в частности, уделять больше времени созданию, и мы сможем оптимизировать нашу карту развития.
Как конфиденциальная поисковая система вы не отслеживаете своих пользователей. Поскольку вы не можете использовать сбор данных для определения вероятных потребностей пользователя, как вы справляетесь с трудностью предоставления точных результатов по запросу с неоднозначными условиями поиска?
Конечно, когда люди используют поисковую систему, они ищут информацию в различных вариациях. Таким образом, используемые поисковые запросы почти всегда имеют некий скрытый смысл.
Прогнозирование потребностей и желаний на основе собранных личных данных, на наш взгляд, носит манипулятивный характер. Этот механизм нужен компаниями, занимающимися рекламными технологиями и Big Data, не столько для улучшения своих услуг, сколько для оптимизации доходов от рекламы.
В некоторых случаях это помогает повысить релевантность, но может иметь последствия, наиболее заметным из которых является пузырь фильтров (предвзятый или персонализированный поиск). Направлять на релевантный контент с разных точек зрения также важно, как и использовать предположения о том, что ищет пользователь.
Вот почему мы считаем важным наличие независимого поискового индекса и алгоритма. Когда почти каждая поисковая система получает свои результаты из Google и Bing, именно Google и Bing формируют большую часть информации, которую может увидеть человек.
Как пользователи Mojeek могут самостоятельно убедиться, что их конфиденциальность действительно соблюдается?
Это отличный вопрос, и честный ответ — никак. Все сводится к вопросу доверия. Даже с открытым исходным кодом или при проведении независимых аудитов проверка этих вопросов не является гарантией. На практике компания может использовать другую версию своего исходного кода, включать или отключать функции во время аудита.
Mojeek — официальная британская компания с четкой и краткой Для просмотра ссылки Войди
Как вы видите Mojeek через пять лет?
Наша цель — сделать так, чтобы сервисы на базе Mojeek стали надежной альтернативой Google, Bing и «Яндекс». Эти три поисковые системы имеют индекс выше нашего. Наличие независимой технической базы означает, что мы и будущие партнеры можем предложить реальную альтернативу поиску, который предлагается крупными технологиями Китая, России и США. К тому времени мы также построим устойчивый бизнес.
Источник Для просмотра ссылки Войди