Поисковый проект Бубен предлагает новый бомбезный сервис.
Пока он в тестовом режиме но суть его следующая.
К поисковой машине можно написать достаточно сложный запрос
и поисковик сформирует стрим, поток свежих сообщений на определенную тематику.
Пока я сформировал стрим где на геймдеве матерятся, за дату сегодня
http://booben.com/Query?q1=ManyItemsFromCategory Маты и ругательства 1&q2=CustomPhrase ssql d19 1&s=online&a=search

Можете добавить в избранное, это стрим который постоянно обновляется ( с лагом примерно в 4 часа ).
Позже я опишу спецификацию языка запросов, по которому можно строить запросы к базе данных.

Следующая точка, создание персональных поисковых страниц, где пользователи смогут указывать интересующие их области
(технологии, география, эмоции, тип контента, и многое др). Это секономит кучу времени и одновременно позволит держать
руку на пульсе беспрерывно обновляющегося интернета.

В такой схеме у каждого пользователя будет свой персональный поисковый агент, который будет тонко выуживать информацию
из инернета и предоставлять в удобном виде.

DarkMasterТени забытых СУБД,

Гм... Набрать поисковый запрос в гугле, выполнить, добавить текст из адресной строки в избранное, выбирать при необходимости. Не оно?

Нет, не оно.
Поскольку благодаря языку запросов можно строить более сложные запросы к СУБД.
Например отобразить все страницы где кипят политические холиворы или где обстановка по пляжам какогото региона, встречается улица твоего района и тд тд. Плюс можно искать сразу на нескольких социальных ресурса.

Вверху чуть устаревший формат.
На самом деле вот ссылка на постоянно обновляющий стрим, где матерятся на sql.ru

Сделал альбом sql.ru.
Все запощеные картинки на ресурсе за месяц.
http://booben.com/Query?q2=CustomPhrase ssql @month @img 1&s=online&a=search&p=1

Все запощеные видео на ресурсе за месяц.
http://booben.com/Query?q2=CustomPhrase ssql @month @vid 1&s=online&a=search&p=1

SergSuperВообще то мне лично трудно серьезно относиться к человеку, который пытается что то тут продвигать, а сам и зарегистрироваться не удосужился.

Мой последний ник забанили, а новый заводить ...
может быть, если модеры будут более адекватными.

PS: только что добавил форум ixbt.com в индексацию, пока паук работает.

Давайте я вам ченить интересненького расскажу, например, как получить все темы sql.ru где есть 2000я страница.

http://booben.com/Query?q2=CustomPhrase ssql p0002000 1&s=online&a=search&p=1

Как с помощью запроса вывести размер страницы в отдельную колонку

http://booben.com/Query?q1=CustomPhrase ssql p0002000 1&q2=RangeOrTemplate l000* 1&s=online&a=search&p=1

Dimitry SibiryakovТени забытых СУБДДавайте я вам ченить интересненького расскажу, например, как
получить все темы sql.ru где есть 2000я страница.
Это не интересно. Лучше посчитай количество тем, которые начинаются с сообщения автора,
который "раньше с БД дела не имел".


Запрос то такой я могу конечно написать.
Но что тебе это даст ?

ZeroMQТени забытых СУБД,

обратись в Роскомнадзор. Будешь для них порнуху и варез искать.

Неинтересно.

Ivan DurakТени забытых СУБДДавайте я вам ченить интересненького расскажу, например, как получить все темы sql.ru где есть 2000я страница.

http://booben.com/Query?q2=CustomPhrase ssql p0002000 1&s=online&a=search&p=1

Как с помощью запроса вывести размер страницы в отдельную колонку

http://booben.com/Query?q1=CustomPhrase ssql p0002000 1&q2=RangeOrTemplate l000* 1&s=online&a=search&p=1
Приносим свои извинения, данный сервис не работает

15 мин, фиксил очень злосный баг в ядре СУБД.
Воспроизводился только под нагрузкой в хитром кейсе после полу часа работы.
Инстанц крашился в неуправляемом коде.
Но вродь исправил, сейчас идет полная переиндексация и запуск инстанцев.
Кстате в индекс добавил форум ixbt.com

Dimitry SibiryakovТени забытых СУБДчто тебе это даст ?
С группировкой по разделам это даст название СУБД, управление которой доверяют нулевым
эникейщикам чаще всего.


Запустил. Ответ: 42

Dimitry SibiryakovТени забытых СУБДчто тебе это даст ?
С группировкой по разделам это даст название СУБД, управление которой доверяют нулевым
эникейщикам чаще всего.


Ну можно построить график популярности по БигДата ( 56 гб дынных с скуля ) 5 основных баз данных + слово аникейщик
И посмотреть как они коррелируют

http://booben.com/Stat?q=mssql oracle firebird postgres sybase эникейщик&s=sql.ru

Dimitry SibiryakovТени забытых СУБД5 основных баз данных + слово аникейщик
Нет, слово "эникейщик" тут не прокатит, тут нужно именно "с БД никогда дела не имел" в
разных лексических вариантах.


Такой запрос написать нельзя.
Потому что это полноценный ИИ.
Сибилев тоже врядли построит такой запрос. Гугл тоже.
Единственый вариант нанять эникейщика, полиглота, орфографа.
Который за 1,5 млн (страниц скуля) / 8 часов / 60 страниц в час = 10-12 лет работы
даст приблизительную статистику. Удачи.

Dimitry SibiryakovТени забытых СУБДблагодаря языку запросов можно строить более сложные запросы к СУБД.
Например отобразить все страницы где кипят политические холиворы или где обстановка по
пляжам какогото региона

Тени забытых СУБДпропущено...

Такой запрос написать нельзя.
А ведь как бравурно начинал...


Более сложные чем Гугл позволяет и локальный поиск (тут вроде люсена бегает), если что ...

Вообще вспомнил, что у меня есть еще ассоциативный поиск, который схож с алгоритмом работы нейросети ...
и он говорит что больше всего аникейщиков в Дельфи.

http://booben.com/?q=аникейщик&s=sql.ru

ну както так я и подозревал

pkarklinТени забытых СУБДНу можно построить график популярности по БигДата ( 56 гб дынных с скуля ) 5 основных баз данных + слово аникейщик
И посмотреть как они коррелируют

56 гиг - это бигдата?! Мда...

Ну типа да. Хотябы потому что это не raw данные.
Это дискретные 56 гиг / 10 символов среднее слово с пунктуацией = 5.6 млрд фактов в базе.
К томуже у меня не только этот сайт в хранилище, общее хранилище сейчас достигает 0.8 ТБ данных
и соответственно 80 миллиардов фактов. Правда данные оень сильно пожаты, потому выглядит и по скорости по фактическим обьемам все оптимистично.

Alexander RyndinТени забытых СУБДпропущено...


Ну типа да. Хотябы потому что это не raw данные.
Это дискретные 56 гиг / 10 символов среднее слово с пунктуацией = 5.6 млрд фактов в базе.
К томуже у меня не только этот сайт в хранилище, общее хранилище сейчас достигает 0.8 ТБ данных
и соответственно 80 миллиардов фактов. Правда данные оень сильно пожаты, потому выглядит и по скорости по фактическим обьемам все оптимистично.аж 800 ГБ. Больше чем у меня диск в ноутбуке. Мельчает бигдата

Здесь все зависит от подхода. Если эти 800 гб забить фильмами, музыкой и играми, то это не бигдата.
А если в этих 800 гб хранить 80 млрд фактов, тоесть такая себе табличка где о каждом жителе земли хранится минимум 12 фактов, то да, это БигДата. Поскольку по этим данным можно применять разные статистические методы, строить колосальных размеров графы, запускать алгоритмы вычислительная емкость которых сутки и тд.

Распиливаю ядро отечественной субд-поисковика.
Добавил новый тег @title. Он говорит что искать нужно только в заголовках темы
Например такой запрос даст все темы где есть в заголовке слово москва и картинка

Все бегает довольно активно

Dimitry SibiryakovТени забытых СУБДтакой запрос даст все темы где есть в заголовке слово москва и
картинка
Прэээлесно... А на "картинко масквы" оно откликнется? Гугль - да.


А на картинко и видео Москвы запощеные за сегодня на sql.ru
Гугол как ?

Dimitry SibiryakovТени забытых СУБДГугол как ?
Ништяк. Открой уже для себя его справку по поисковым тэгам.


Запрос ?

Dimitry Sibiryakov"картинко масквы"


На счет мемов, баян же:
Booben VS Google

Dimitry SibiryakovТени забытых СУБДЗапрос ?
http://www.google.cz/search?nord=1&q=пикча столицы&gws_rd=cr&ei=QK2WVbSAA8KBUZCTg5gI#q=site:sql.ru картинко масквы&nord=1&tbs=qdr:d


Самому не смешно ?

Где там картинки москвы за сегдоня с сайта скуль ру ?

Dimitry SibiryakovТени забытых СУБДГде там картинки москвы за сегдоня с сайта скуль ру ?
Написано же: "ничего не найдено". У тебя, кстати, тоже исключительно левая выдача.


Что значит "тоже левая выдача" ?
У меня ищет картинки москвы с конкретного ресурса. Это можно сделать.
Можно указать за какой период, оказать окраску текста и еще много разных опций.
Ты сказал что это можно сделать через гугл. Покажи запрос через гугл, чтоб он выдавал не темы про дельфи в допе по запросу "картинко москвы".

Dimitry SibiryakovТени забытых СУБДУ меня ищет картинки москвы с конкретного ресурса.
Ага, и первой же картинкой в результате (по твоей же ссылке парой постов выше) идёт
какая-то киношная тёлка из геймдева, а вторая - вообще не с sql.ru.


Не вопрос. У меня там много фоток с форума ixbt.com который недавно ушел в индексацию.
Покажи запрос через гугль который вернет фотки москвы с форума ixbt.com

Мой запрос вот такой

http://booben.com/Query?q2=CustomPhrase sixbt @title москва @img 1&s=online&a=search&p=1

Dimitry SibiryakovТени забытых СУБДПокажи запрос через гугль который вернет фотки москвы с форума
ixbt.com
https://www.google.ru/search?newwindow=1&hl=ru&site=imghp&tbm=isch&source=hp&biw=1168&bih=597&q=site:ixbt.ru Москва&oq=site:ixbt.ru Москва&gs_l=img.3...1928.11492.0.12660.19.6.0.13.0.0.202.700.3j2j1.6.0....0...1ac.1.64.img..14.5.484.S2IOTliiKjI#newwindow=1&hl=ru&tbm=isch&q=site:ixbt.com Москва


Молодец, додумался переключится на вкладку фотки.
Работает пока что лучше.
Потому стоят 300 млрд

Я в плане распознования фоток вообще не работаю, но фичу когда можно вернуть все фотки с ресурса за сегодня/вчера нахожу у себя интересной и ею пользуюсь каждый день.

Dimitry SibiryakovТени забытых СУБДфичу когда можно вернуть все фотки с ресурса за сегодня/вчера
нахожу у себя интересной и ею пользуюсь каждый день.

Pornhub добавил в список индексируемых? Да, это убойная фича, спрос обеспечен.


чем гугль и яндекс не устраивает ?
У меня не адалт направление.
Хотя и он ищется как в любом нормальном поисковике.

Сравниваем поисковики

Добавил стемминг в базе.
Это означает, что наконецто при вводе слова "чайник"
будут также захвачены все документы содержащие "чайника", "чайнику", "чайником" и тд...
Изменения актуальны для базы Online.
Остальное пока не реиндексировано.

Пример работы:
Найдем все темы, где в заголовке есть слово Крым за сегодня:
http://booben.com/Query?q2=CustomPhrase @title крым @today 1&s=online&a=search&p=1

SergSuperМожет в ПТ перенести?

Пускай тут будет.
Мы же тут сравниваем СУБД или как ?

Моя тема имеет прямое отношение к сравнению СУБД.
Я пишу статьи в блоге с бенчмарками, тестами, затрагиваю глубокую теорию построения СУБД.
Вставляю графики популярности разных СУБД на основе контента этого сайта.
Показываю работающие прототипы, готов обсуждать темы аля тестов TPC-H.
А вот ваши бестселлеры на главной странице "Накидайте вопросов на собеседование" - не уверен что имеют
какоето отношение к сравнению СУБД.
Впрочем дело ваше, хотите перенести в ПТ - переносите.

Добавил поиск кубов
http://booben.com/Query?q2=CustomPhrase @coub 1&s=online&a=search&p=1

Расширена функциональность поискового движка
Теперь можно получить одним запросом все темы форума (этого или другого, или всех месте взяых)
которые приросли наибольшим количеством страниц за сегодня (вчера, месяц, год и тд)

http://booben.com/Query?q2=CustomPhrase ssql @today @max_pages 1&s=online&a=search&p=1

:up: