README

Purpose

Анализ слов в тесте для реализации каких-либо алгоритмов (например, похожести текстов) Использование индексатором для полнотекстового поиска, отображение фрагментов текста и подсветка найденных слов в результатах поиска

Features

1. Получение всех слов в тексте в порядке их следования
2. Получение всех предложений и слов в тексте в порядке их следования
3. Получение уникальных слов в тексте с весами их появления в тексте
4. Нормализация текста (описание см. ниже)
5. Распределение абсолютных позиций слов к абсолютным байтовым позициям в нормализованном тексте
6. Поддержка нескольких языков одновременно
7. Работает с любыми языками мира, используемая кодировка — UTF-8.

Terminology

1. Нормализованный текст — текст с сохранением регистра, с параграфами и переносами строк, но без html тэгов и сущностей, без знака табуляции, ударения, мягкого переноса строк
2. Слово — последовательность букв или цифр (мешанина не допускается!)
3. Абсолютная позиция слова — порядковый номер слова в нормализованном тексте
4. Относительная позиция слова — порядковый номер слова относительно предложения в нормализованном тексте
5. Байтовая позиция слова — смещение слова в байтах в нормализованном тексте

Example

$wp = new Text_WordsParser(array('Latin', 'Cyrillic'));
$html = file_get_contents('test.html');
$text = $wp->parse($html, $words, $sentences, $uniques, $offset_map);
var_dump($text, $words, $sentences, $uniques, $offset_map);

Useful links

1. http://www.evertype.com/alphabets/index.html The Alphabets of Europe
2. http://ru.wikipedia.org/wiki/TF-IDF Оценка важности слова в контексте текста
3. http://morpher.ru/Description.aspx Технология автоматического склонения
4. http://phpmorphy.sourceforge.net/dokuwiki/demo Библиотека морфологического анализа на PHP, демонстрация работы phpMorphy (введи, например, слово "родной" или "раздела")
5. http://packages.python.org/pymorphy/ Морфологический анализатор

Project was exported from http://code.google.com/p/php-text-words-parser