Технология полных выборок (Full Data Technology)

Краткое описание Технологии полных выборок с демо-версией

Поисковые машины, основанные на технологии обратного индекса, обладают фундаментальным недостатком – результат поиска всегда ограничен. В связи с этим обстоятельством, выдача поисковых машин, не годиться в качестве аналитической базы.

Полная и достоверная информация о состоянии рынков и отраслей – необходимая основа для анализа спроса и предложения, планирования производств, борьбы с контрафактом и мошенничеством, планирования и проведения маркетинговых мероприятий и многого другого. Доступ к полной и достоверной информации о ситуации на рынках, позволяет организациям увеличить прибыль, снизить риски и издержки.

Существуют решения, как например Поисковая система Делового сообщества, которые пытаются преодолеть проблему неполноты выдачи:

www.lookover.su

Но расширение парка параллельно работающих серверов, также имеет свой предел.

Технология полных выборок обеспечивает мгновенный доступ к полной и достоверной информации в один клик. Демо-версия:

https://russia.samara-marketing.ru/yellowpages/?start=0&q=москва

Информация упорядочена по релевантности ключевым фразам:

https://russia.samara-marketing.ru/engineering/?start=0&q=производство&r=moscow&s=rel

а также содержит информацию о новых сайтах, по заданным темам:

https://russia.samara-marketing.ru/engineering/?q=производство&r=moscow&s=date&start=0

Возможен сравнительный анализ деятельности конкурентов. Например, по теме автомобилестроения:

https://russia.samara-marketing.ru/auto/all/graphic.php

или теме быстрого питания:

https://russia.samara-marketing.ru/food/all/graphic.php

Принципиальное значение имеет то обстоятельство, что полнота и достоверность исходной информации может быть доказана и доказывается.

Поскольку информация, полученная из интернета, может содержать чувствительную информацию, включая персональные данные, то согласно Федеральному закону "О персональных данных" от 27.07.2006 №152-ФЗ, создание актуальных полных выборок по конкретным ключевым фразам, а также периодическая актуализация информации, осуществляется только на основе договора, с явным указанием круга ответственности Сторон.

Ответственность сторон

Вся информация в демо версии Технологии полных выборок получена напрямую с интернет-сайтов, размещенных их владельцами в сети интернет. В связи с этим:

  • Владельцы интернет-сайтов несут полную ответственность за распространяемую ими информацию
  • Администрация демо версии Технологии полных выборок не несет никакой ответственности за достоверность информации, полученной с интернет-сайтов, а так же за своевременность обновления демонстрационных данных

Разработчикам информационных систем

Чтобы одновременно добиться полноты доступной информации и быстроты доступа к ней, используется разбивка исходной информации на массивы с ключами и страницы.

Исходную информацию мы поставляем в виде сортированных массивов с необходимыми ключами.

Например, файл «!автомобиль !дилер.inc», содержит массив данных, на языке программирования PHP:


$domTaskDate = array(
 "algoritm" => "A1",
 "samara"=>array(
    "autoprfstus.ru" => "6.1",
    "proauto.trade.ru" => "8",
    "avanta-avtp-credit.ru" => "8.4",
    "sevmarkb-jac.ru" => "11.8",
    …
 ),
 "moscow"=>array(
    "autogbnsa.ru" => "5",
    "avto-trfnd21.ru" => "5",
    "chinaeeal.ru" => "5",
    …
 ),
 …
);

В массиве представлены адреса сайтов, на которых, не далее чем на третьей странице нашлись ключевые слова «автомобиль» и «дилер». Адреса сайтов сгруппированы по регионам и использованы в качестве ключей. В качестве величин выступает обратная релевантность. Чем она меньше, тем выше релевантность соответствия сайта ключевой фразе. «A1» -- имя алгоритма, по которому вычислена обратная релевантность, носит справочно-служебный характер.

Основные ключи:

  • Имя домена сайта
  • Регионы сайта
  • Дата создания сайта, с точностью до месяца

Пример:



$domenRegionDateArr = array(
 "202605"=>array(
    "nissan-uambov.ru"=>"tambov",
    "personbspb.com"=>"sankt-peterburg,kursk",
    "autolane-dv.com"=>"vladivostok,moscow",
    …
 ),
 "202604"=>array(
    "autovpz.net"=>"moscow",
    "unicum-kaecoo.ru"=>"ekaterinburg",
    "uspehautp-esteo.ru"=>"saratov,moscow,nizhniy-novgorod",
    …
 ),
);

Размер массива не должен превышать размер, вызывающий заметную задержку при выполнении инструкции PHP "include".

Если размер массива всё таки превышает допустимый объём, то возможна разбивка на страницы. Например, первые 10000 элементов массива -- в первом томе, вторые 10000 -- во втором и т.д.

Файлы с массивами хранятся в каталогах

https://fulldata-technology.ru/code-examples/auto-test/

и

https://fulldata-technology.ru/code-examples/cache/

Общий объём данных, в этом конкретном примере, составляет 2.7G. Массивы данных представляют собой объект авторского права, поэтому, в демо-версии данные искажены.

Значительная часть этого объёма составляет матрица комбинаций ключевых слов:

https://fulldata-technology.ru/code-examples/cache/






Index of /code-examples/cache

   
[ICO]Name
Last modifiedSize
Description

   


[PARENTDIR]Parent Directory   -  


[DIR]000000000/2026-07-07 13:20    -  


[DIR]000000001/2026-07-07 13:51    -  


[DIR]000000010/2026-07-07 13:51    -  


[DIR]000000011/2026-07-07 13:51    -  


[DIR]000000100/2026-07-07 13:51    -  


[DIR]000000101/2026-07-07 13:51    -  


[DIR]000000110/2026-07-07 13:51    -  


[DIR]000000111/2026-07-07 13:51    -  


 ...

000000000/ -- все ключевые фразы отключены

000000001/ -- включена только первая ключевая фраза из списка ключевых фраз

000000010/ -- включена только вторая ключевая фраза из списка ключевых фраз

000000011/ -- включена комбинация "ИЛИ" первой и второй ключевых фраз

и т.д.

Набор ключевых фраз, объём и структура данных определяется и согласовывается в рабочем порядке

 

Скрипт PHP, демонстрирующий работу с данными:

https://fulldata-technology.ru/code-examples/relevancy.php?r=samara

и

https://fulldata-technology.ru/code-examples/date.php?r=samara

 

Исходный код:

https://fulldata-technology.ru/code-examples/view/view-relevancy.php

и

https://fulldata-technology.ru/code-examples/view/view-date.php

Авторские права

Авторские права на массивы данных, принадлежат разработчикам Поисковой системы Делового сообщества и Технологии полных выборок.

Авторские права на код демо-версий "relevancy.php" и "date.php" расширены действием Лицензии GNU GPL для свободного использования, включая создание на их основе платного, несвободного ПО.

Иными словами, Вы имеете право создавать на основе этого исполняемого кода свои собственные, платные информационные системы, для нужд своих собственных Закачиков.

Источники

Полнотекстовая поисковая машина с обратным индексом на PHP: https://phpsearch.ru/

Ограничение объёма выборки традиционных поисковых систем: https://fulldata-technology.ru/page-1.html

Поисковая система Делового сообщества: https://www.lookover.su/

Контакты

info@fulldata-technology.ru

Авторские права ©2024-2026. Все права защищены