Реферат: О. В. Лазаренко, А. А. Яковенко моделювання процесу узагальнення в системi автоматичного реферування харків Видавництво нуа 2007

НАРОДНА УКРАЇНСЬКА АКАДЕМІЯ


О. В. Лазаренко, А. А. Яковенко


МОДЕЛЮВАННЯ ПРОЦЕСУ УЗАГАЛЬНЕННЯ

В СИСТЕМI АВТОМАТИЧНОГО

РЕФЕРУВАННЯ


Видавництво НУА


НАРОДНА УКРАЇНСЬКА АКАДЕМІЯ


О. В. Лазаренко, А. А. Яковенко


МОДЕЛЮВАННЯ ПРОЦЕСУ УЗАГАЛЬНЕННЯ

В СИСТЕМI АВТОМАТИЧНОГО

РЕФЕРУВАННЯ


Харків

Видавництво НУА

2007


УДК 004.912

ББК 73.621 с 51

Л 17


Затверджено на засіданні кафедри інформаційних технологій Народної української академії.
Протокол № 8 від 06.03.2006


Р е ц е н з е н т и: д-р техн. наук К. О. Соловйова (ХНУРЕ)

д-р фіз.-мат. наук ^ А. А. Янцевич (ХГУ «НУА»)


Л
Л 17
азаренко, Ольга Володимирівна.

Моделювання процесу узагальнення в системі автоматичного реферування: Монографія / О. В. Лазаренко, А. А. Яковенко; Нар. укр. акад. [Каф. інформ. технологій].– Х.: Вид-во НУА, 2007.– 124с.


У виданні розв’язується завдання моделювання і нормалізації інтелектуального аспекту процесу реферування з метою вдосконалення систем автоматичного реферування. Відзначено сутність узагальнення в реферуванні, виявлено засоби подання інформації в рефераті, за допомогою яких досягається її звернення на морфологічному, синтаксичному, семантико-синтаксичному, семантичному і лексико-семантичному рівнях. На підставі виявлених особливостей сінтактико-семантичної структури реферативних речень побудовано модель індикативного реферату. Запропоновано алгоритм автоматичного створення індикативного реферату.


УДК 004.912
ББК 73.621 с 51


© Народна українська академія, 2007

Зміст

ВСТУП 6

Глава 1. Огляд сучасних досліджень у галузі автоматичного 9

реферування 9

1.1. Розвиток ідеї автоматичного реферування 9

1.2. Методи автоматичного реферування 13

1.3. Проблема розуміння текстових повідомлень у системах автоматичної обробки інформації 20

1.4. Аналіз актуальних лінгвістичних проблем автоматичного реферування 32

^ Глава 2. Методика опису процесу узагальнення в системі автоматичного реферування 40

2.1. Підходи до поняття «узагальнення», аналіз видів узагальнення 40

2.2. Моделювання знань у системах автоматичного реферування 46

2.3. Онтологія як засіб представлення знань при моделюванні процесу узагальнення в системі АР 51

2.4. Процедура узагальнення при реферуванні 61

3.1. Аналіз граматичних і словотворчих характеристик елементів реферативних конструкцій 65

3.1.1. Граматичні значення предикатів. 67

3.1.2. Граматичні значення іменних елементів актантів. 68

3.1.3. Граматичні значення залежних елементів актантів. 69

3.1.4. Граматичні значення сирконстантів. 69

3.1.5. Словотворчі значення предикатів. 69

3.2. Побудова синтаксичної моделі реферату 71

УЗАГАЛЬНЕННЯ 76

3.3. Модель узагальнення на семантичному рівні 84

3.4. Модель узагальнення на лексико-семантичному рівні 93

3.5. Експериментальна перевірка роботи алгоритму автоматичного реферування 102

СПИСОК ВИКОРИСТАНОЇ ЛІТЕРАТУРИ 111



ВСТУП

Нині, завдяки поширенню мережі Інтернет, швидкими темпами збільшується обсяг науково-технічної інформації на електронних носіях. Проблема автоматичної обробки цієї інформації, складання інформаційних оглядів, реферування й анотування джерел, що несуть інформацію для конкретного користувача, стає все більш актуальною.

Протягом останніх десятиліть ведуться активні дослідження в галузі формалізації змісту текстової інформації. Вони спираються на досягнення структурної і прикладної лінгвістики, логічної семантики, математичної логіки та низки інших фундаментальних і прикладних дисциплін. Результати цих теоретичних досліджень усе більше застосовуються в автоматизації процесів обробки інформації і побудові інтелектуальних інформаційних систем у різних галузях науки.

Одним із найважливіших напрямів у даних дослідженнях, на наш погляд,
є пошук шляхів і методів автоматичного стиснення (згортання) тексту. Під стисненням мається на увазі сукупність операцій аналітико-синтетичної переробки інформації, що переслідують мету створення вторинних документів чи вираження змісту вихідного тексту в більш економічній формі при максимальному збереженні його інформативності в похідному тексті. Реферування й анотування займають центральне місце у згортанні інформації, і всі проблеми, пов’язані
з іншими різновидами згортання, так чи інакше відбиті в цих процесах.

Реферат є вторинним документом, основне призначення якого – подання актуальної науково-технічної інформації на основі її смислової переробки.
На відміну від анотації, що являє собою описову характеристику, реферат передає фактографічну інформацію. Індикативний реферат (резюме) містить тільки ті положення, що тісно пов’язані з темою первинного документа. Усе другорядне для даної теми в індикативному рефераті опускається. Індикативність припуcкає узагальнене подання матеріалу відповідно до конкретного призначення вторинного документа і характеру аналізованого тексту.

Реферат в ідеалі повинен задовольняти інформаційні потреби споживачів, які володіють знаннями у різноманітних галузях науки і цікавляться різними аспектами однієї й тієї ж проблеми тощо. Такий реферат умовно можна
було б назвати універсальним.

Моделювання процесу реферування є одним із найскладніших завдань
у розробці інтелектуальних систем, оскільки в основі логічного механізму цього процесу лежать закономірності людського мислення.

Складовими процесу реферування є аналіз, узагальнення і синтез. Процес узагальнення є найважчим, оскільки передбачає згортання смислу шляхом пошуку найбільш ємних засобів і форм подання інформації. При цьому зміст реферату повинен залишатися семантично адекватним і еквівалентним первинному документові.

Процес узагальнення смислу тексту під час реферування відбувається
на чотирьох рівнях: синтаксичному, семантичному, лексичному і частково – морфологічному.

Реалізація цих механізмів у системі автоматичного реферування дозволяє істотно прискорити і полегшити процес укладання рефератів, хоча сьогодні йдеться лише про створення автоматичних квазірефератів.

Удосконалення системи автоматичного реферування можливе, зокрема, при розв’язані проблеми моделювання інтелектуального аспекту процесу реферування, однією з важливіших складових якого є побудова моделі узагальнення смислу в процесі реферування текстів.


^ Глава 1. Огляд сучасних досліджень у галузі автоматичного реферування 1.1. Розвиток ідеї автоматичного реферування
Проблема автоматичної обробки інформації (АОІ) набуває з кожним роком усе більшого значення, що обумовлено стрімким збільшенням обсягу документів на електронних носіях і темпами розвитку всесвітньої мережі Інтернет. Одне із суттєвих завдань у цій галузі – пошук шляхів і методів автоматичного стиснення тексту, скорочення його обсягу, зберігаючи головний зміст, тобто побудова реферату.

Реферування, як і анотування, виникло в надрах бібліотечно-бібліографічної практики та наукової журналістики. Засоби аналізу документів, вироблені емпіричним шляхом, поступово формували методику бібліографічної роботи, яка мала яскраво виражений прикладний характер. Головним завданням прикладного анотування і реферування було визначення ступеня повноти відображення змісту першоджерела. Основна увага фахівців була сконцентрована на змістовній стороні, а питання про функції і типи рефератів
не розглядалися.

Така картина існувала до 20-х років минулого століття. Необхідно підкреслити, що анотування і реферування ніколи не розглядалися самостійно,
а завжди – в залежності від суті і завдань бібліографічної справи [1].

З виникненням і розвитком інформатики почався якісно новий етап осмислення даної проблеми: ставляться питання про автоматизацію анотування
і реферування, а також про види і функції вторинних документів, що використовуються як вихідні в інтегральних інформаційних системах. Вивчення цих питань виходить за межі бібліографії і книгознавства. Анотування і реферування стають об’єктами досліджень філософів, лінгвістів, фахівців у галузі кібернетики й обчислювальної техніки, а предметом постійних дискусій – теоретичні аспекти: функціональне призначення анотацій і рефератів і засоби розкриття змісту першоджерела у процесі згортання [2].

Проблема функціонального призначення рефератів виникла досить давно, і думки фахівців з цього приводу змінювалися неодноразово. Так, у певні часи вважалося, що реферат здатний повністю замінити читачеві першоджерело. Однак тоді ж існувала й радикально протилежна думка: реферат не може замінити першоджерело, він лише дозволяє робити висновок про необхідність звернення до цього джерела [3].

В основі суперечок, що постійно виникають з цього питання, лежить відносність розподілу в тексті першоджерела власне інформації, носієм якої є реферат, і метаінформації, носієм якої слугує анотація, а також нерозуміння принципової різниці між даними видами вторинних документів.

Різні автори використовують різні визначення поняття «реферат». Наведемо декілька прикладів:

Реферат (від лат. referre – повідомляти, доповідати) – це короткий
виклад змісту наукового документа [4].

Реферат – модель оригіналу, що пропорційно відображає його складові частини [5].

Реферат – це семантично адекватний, обмежений малий обсягом і разом з тим по можливості повний виклад основного змісту первинного документа, що характеризується постійністю структури і призначений для виконання різноманітних інформаційних функцій під час використання його читачами різних категорій [6].

Щоб уникнути неоднозначності трактування одного з ключових понять, зазначимо, що у процесі даного дослідження ми оперували останнім із наведених визначень.

Що стосується відмінності реферату від анотації, то, на наш погляд, вона полягає в наступному: реферат передає фактографічну інформацію і відповідає на питання, яку інформацію закладено в первинному документі; анотація ж являє собою стислу описову характеристику першоджерела і відповідає на запитання, про що говориться в первинному документі. Крім того, в анотації основний зміст передається «своїми словами», які припускають високий ступінь абстрагування та узагальнення матеріалу. У рефераті використовуються ключові фрагменти, тобто формулюються узагальнення, запозичені з тексту оригіналу, що робить більш реальним створення автоматичних рефератів.

Функціями реферату є [7]:

інформативна (передавання фактографічної інформації);

пошукова (подання пошукового образу первинного документа);

адресна (бібліографічний опис первинного документа);

довідкова (довідковий характер інформації в рефераті);

комунікативна (забезпечення обміну інформацією).

Реферати за функціональним призначенням поділяються на загальні
і спеціалізовані [7], а в залежності від повноти і форми викладу змісту первинного документа – на інформативні (реферат-конспект) та індикативні
(реферат-резюме).

Індикативний реферат містить лише ті положення, які тісно пов’язані
з темою реферованого документа, усе другорядне для даної теми не викладається. Індикативний реферат, окрім основних, може виконувати також індикативну функцію. Саме даний вид реферату викликає інтерес під час документального пошуку, використовується при вирішенні питання про необхідність перегляду першоджерела.

Основні вимоги до якісного автоматичного реферату не відрізняються від вимог до інтелектуального реферату. По-перше, реферат має бути релевантним першоджерелу, тобто встановлювати відповідність змісту документа до змісту запиту користувача. По-друге, реферат має стисло і точно відтворювати факти первинного документа.

Реферат в ідеальному вигляді має задовольняти інформаційні потреби споживачів, які володіють різними знаннями, що належать до різних галузей науки, і які цікавляться різними аспектами однієї й тієї ж проблеми і таке інше. Такий реферат умовно може бути названий універсальним [8].

У системі наукової комунікації реферат виступає як основна інформаційно-комунікативна одиниця [9], що зумовлено такими його властивостями [10]:

Від усіх видів вторинних інформаційних документів (анотації, резюме, бібліографічного опису) реферат відрізняється найбільшою інформативністю
в розкритті змісту першоджерела;

Використання рефератів для пошуку поточної або ретроспективної інформації може зекономити до 90% часу [11], необхідного на випадок звернення до первинних документів;

Форма надання інформації у вигляді реферату зручна для зберігання
у фондах довідково-інформаційних служб, у тому числі в автоматизованих інформаційних бібліотечних системах [11], а також в інформаційно-пошукових системах (ІПС).

Актуальність автоматизації процесу реферування була очевидною вже
40 років тому: «…різного виду кількісні підрахунки динаміки зростання первинних документів з екстраполяцією в майбутнє роблять вельми актуальною розробку питань механізації та автоматизації в цій галузі, оскільки підготовка вторинних документів пов’язана з колосальними витратами розумової праці, часу і коштів. Це, у свою чергу, вимагає як теоретичного і методологічного дослідження загалом, так і різних розробок у галузі формалізованих методів згортання» [12, c. 13].

Активні дослідження в галузі автоматичного реферування (АР) за останні два десятиліття ще більше зміцнили позиції реферату в системі АОІ. За всю історію розвитку реферування цей вид вторинного документа не був об’єктом такої пильної уваги дослідників у різних прикладних галузях, як у період автоматизації даного процесу. Внаслідок цього було розроблено чимало методів і систем АР, основні з яких описані в наступному підрозділі.
^ 1.2. Методи автоматичного реферування
Велика різноманітність існуючих методів реферування негативно впливає на розробку їх чіткої класифікації. Формулювання визначень ускладнюється тим, що їх автори все частіше використовують комбіновані класифікації, намагаючись поєднати переваги різних підходів.

У роботах [8; 13; 14; 15] зроблений досить вичерпний огляд існуючих спроб автоматизації реферування і надана загальна характеристика проблеми
у вітчизняних і зарубіжних дослідженнях. Значний аналітичний огляд також містить монографія В. І. Горькової і Є. А. Борохова [11] про теоретичні і прикладні дослідження лінгвістичних і структурних характеристик реферату
та їх реалізацію в автоматизованій обробці.

Аналіз зазначених робіт показав, що в розвитку досліджень з АР виділяють три найважливіші періоди:

1) становлення основних методів АР;

2) розробка і застосування з метою АР методів суперсинтаксичного
аналізу;

3) розробка принципів АР на базі використання мов розуміння смислу.

Методи, що з’явилися під час першого періоду, використовуються в удосконалених формах і досі.

Так, у своїй роботі [16] В. Є. Берзон дає цілком прийнятну докладну класифікацію методів реферування, розрізняючи серед них наступні:

1) статистичні

2) позиційні

3) дескрипторні

4) анкетні

5) засновані на статистичних зв’язках елементів тексту

6) семантичні

7) синтаксичні

8) засновані на дослідженні структури зв’язного тексту.

І. П. Севбо [17], крім статистичних і синтаксичних методів, виділяє також підхід, заснований на застосуванні інформаційно-пошукових мов.

В. П. Леонов [8] розподіляє сукупність прийомів на статистичні, логіко-семантичні та лінгвістичні методи. С. І. Гінді [18] поділяє методи автоматичного реферування (фрагментування) на статистичні (або частотні), індикаторні
і позиційні.

Родоначальником статистичних методів є Х. П. Лун, який вважається основоположником автоматичного реферування взагалі. За Х. П. Луном [19],
основний смисловий зміст реферованого джерела можна розкрити у вигляді переліку речень, найбільш значущих для даного документа. Значущими реченнями вважаються ті, що містять у своєму складі «скупчення» значущих для даного документа слів. Значущість слів обумовлюється частотою
їх вживання в тексті. Більшість сучасних програм з АР працюють на основі саме статистичних методів.

У позиційних методах реферування для ідентифікації найбільш значущих речень використовують розташування речень у тексті. Існує думка, що основний зміст первинного документа відбивається в рефераті, який складається
з перших речень усіх абзаців [20], або з першого, другого та останнього речень тексту [21]. Позиційний метод використовується в сучасних системах АР у поєднанні зі статистичним.

Смисловими одиницями тексту різними авторами пропонується вважати речення, абзац, складну синтаксичну, надфразову єдність і т. ін. У працях
М. І. Жинкіна [22], А. І. Новикова [23], В. Ш. Рубашкіна [24] викладається денотативний, а в роботі Т. М. Дрідзе [25] – інформативно-цільовий підходи
до аналізу тексту і робиться висновок, що найбільш повно завданням смислового аналізу відповідає процедура розчленування тексту на окремі смислові аспекти (контексти), які характеризують тему документа.

Важливим, на наш погляд, теоретичним результатом є алгоритм аналізу початкового тексту, що пропонується Г. С. Ждановою [13], в основу якого покладено імітацію інтелектуального процесу реферування, при якому з тексту вибирається інформація за ступенем її важливості.

Досить цікавою вважається також ідея Е. Ф. Скороходько [26; 27] провибір оптимальної процедури реферування в залежності від типу семантичної структури тексту і числових характеристик семантичних відношень у цьому
тексті.

У роботі Н. І. Гендіної [28] розглядається один із підходів до укладання рефератів на основі формально-змістового аналізу текстів первинних документів. Відмінність цього підходу від інших відомих полягає в тому, що він ураховує формальні текстові ознаки, так звані маркери – стійкі словесні звороти,
що характеризують конкретні аспекти змісту.

Усі аспекти об’єднуються в три семантичні блоки:

Вступна частина (постановка проблеми).

Основний зміст (пропонований варіант розв’язання проблеми).

Висновок.

Блок «Вступна частина» частіше за все складається з таких аспектів,
як «Постановка проблеми», «Відомий варіант розв’язання», «Оцінка відомого варіанта розв’язання». Характерно, що ці аспекти виступають у першій частині тексту, яка готує читача до основної інформації. У блок «Основний зміст» входять аспекти: «Пропонований варіант розв’язання», «Особливості пропонованого варіанта розв’язання», «Оцінка пропонованого варіанта розв’язання».
У блоці «Висновок» виділяють такі аспекти: «Результати», «Висновки», «Рекомендації», «Галузь застосування».

«Кожний аспект відповідає певному блоку тексту (фрагменту), який характеризується смисловою закінченістю, зв’язністю і в залежності від місця – структурою» [8, c. 65].

Даний підхід, як і більшість інших, заснований на методі екстрагування. На думку В.П. Леонова [8, c. 103], «оптимальним проміжним рівнем між традиційним ручним згортанням і роботами з автоматизації цих процесів на ЕОМ може бути рівень, орієнтований на формалізоване екстрагування».

Екстрагування (лат. extrahere – вилучати) – це дослівне алгоритмічне вилучення окремих слів, словосполучень і фраз (речень) з тексту первинного документа за допомогою ЕОМ. Отримані внаслідок екстрагування вторинні документи називаються автоматичними екстрактами, або квазірефератами.

«Гіпотеза екстрагування може бути сформульована таким чином: можна скласти насичений список (словник) словесних кліше (маркерів, індикаторів, конекторів), що відбивають позасемантичну (метаінформаційну) лексику.
За допомогою такого словника можна пізнавати (маркувати) і вибирати з тексту первинного документа окремі речення. Сукупності вибраних речень утворять реферати або анотації (точніше, подібності їх – квазіреферати, реферати-екстракти), які за своїми пошуковими характеристиками не будуть істотно поступатися традиційним рефератам та анотаціям, що укладаються фахівцями-референтами» [29, c. 35].

Автоматизоване екстрагування передбачає:

«маркування» по всьому тексту першоджерела на основі лексико-семантичного апарата екстрагування (словника маркерів, індикаторів, конекторів);

«редагування», що полягає в зменшенні надмірного обсягу екстрактів за рахунок вилучення речень, менш істотних з точки зору пошуку;

побудова власне реферату-екстракту, тобто вибір із тексту речень,
що залишилися після «редагування».

В Європі та США протягом останніх десятиліть проводяться активні теоретичні й практичні дослідження, спрямовані на пошуки ефективних методів автоматичного реферування. Незважаючи на початок активного вивчення альтернативних щодо екстрагування методів реферування, більшість алгоритмів сьогодні все-таки ґрунтується на екстрагуванні речень з оригінального тексту для побудови тексту реферату. Однак очевидним є те, що сучасні закордонні методики, які використовуються для виявлення речень, що екстрагуються
з тексту оригіналу, є набагато складнішими, ніж ті, що використовувались
у 60-х роках минулого століття [30]. Взагалі, ці методики ґрунтуються на машинному визначенні вагомих елементів тексту й природно-мовному аналізі для виявлення ключових частин тексту [31].

Уперше в закордонних дослідженнях автоматичний аналіз був практично застосований у реферуванні вченими, що розробили систему автоматичного реферування з використанням оригінального класифікатора корпусу наукових текстів та їх рефератів [32]. Зараз активно проводяться машинні експерименти
з оцінки існуючих систем автоматичного реферування [33;34;35], зі створення нових систем, що використовують Інтернет для одержання масивів оригінальних текстів і текстів рефератів для дослідження [36]. В окрему проблему виділяються питання індикативного реферування [37] і теоретичні питання ролі реферату в документальному пошуку [38].

Дослідження і розробки в галузі автоматичної обробки тексту (АОТ)
в Європі і США привертають увагу найбільших приватних фірм і державних організацій найвищого рівня. Європейський Союз вже декілька років координує різні програми в галузі автоматичної обробки тексту. Наприклад, Human Language Technology Sector of the Information Society Technologies (IST) Programme 1998 – 2000 [39]. Основні розробки присвячено автоматизації процесу синтаксичного аналізу для різних систем АОІ, в тому числі й АР.

На відміну від лексико-граматичного аналізу тексту, синтаксичний
аналіз – галузь прикладної лінгвістики, що перебуває в стані розвитку. Мета синтаксичного аналізу – автоматична побудова функціонального дерева фрази, тобто пошук взаємозалежності між різнорівневими елементами речення.

Синтаксичний аналізатор Ergo Linguistic Technologies Parser [40], розроблений Дереком Бікертоном і Філіпом Браліком з Університету Гонолулу, використовує широко відому схему аналізу і має наочне вираження. ERGO орієнтує свій парсер на використання інтерфейсів у вигляді питань і відповідей. ERGO поки що є єдиною компанією, яка має парсер, здатний визначати тип запитання (питання до підмета, суб’єкта, прямого або непрямого додатка чи обставини)
і «миттєво» конструювати відповідь.

Один із найбільш вдалих синтаксичних аналізаторів Functional Dependency Grammar [41] створений дослідниками з Гельсинського університету, котрі пізніше заснували дві фірми: Lingsoft і Conexor. Рання версія під назвою ENGCG (English Constraint Grammar) була використана для анотації найбільшого у світі корпусу – Bank of English, що належить видавництву Collins/Harper Publishers. Особливістю даного синтаксичного аналізатора є те, що у випадках, коли неможливо зняти багатозначність, синтаксичний аналізатор або видає декілька варіантів аналізу, або не добудовує дерево для даної частини пропозиції.

Один із найбільш оригінальних підходів до синтаксичного аналізу
тексту – Link Parser [42] – розроблено в Carnegie-Melon University. Цей синтаксичний аналізатор – єдиний, чиї початкові коди були опубліковані он-лайн. Тоді як більшість систем синтаксичного аналізу використовують структури рівня іменних і дієслівних груп у побудові дерева фрази, Link Grammar, яка покладена в основу Link Parser, використовує інформацію про типи зв’язків, які кожне слово може мати зі словами, що знаходяться праворуч або ліворуч, а також декілька загальних граматичних правил.

На ринку існує зовсім невелика кількість традиційних програм реферування, тобто таких, які виділяють найбільш вагомі пропозиції з тексту, використовуючи статистичні алгоритми або слова-підказки. Inxight Summarizer
[43] – одна з найбільш відомих комерційно поширюваних систем реферування. Inxight Summarizer був створений у Дослідницькому центрі Ксерокса в Пасло Альто.

Серед комерційних систем також можна відзначити Prosum [44] – систему реферування, розроблену British Telecommunications Laboratories у межах експериментальної комерційної он-лайн платформи TranSend, що являє собою cgi-скрипт, вбудовану до веб-сторінки.

Оскільки інтерес до традиційних систем автоматичного реферування неухильно знижується, багато компаній пропонують інші підходи. Одним із нетрадиційних рішень є використання іменних груп, виділених за допомогою часткових синтаксичних аналізаторів. Алгоритми такого типу використовуються
в програмних продуктах Extractor і TextAnalyst.

Extractor [45] створений в Інституті інформаційних технологій Національної дослідницької ради Канади. Він являє собою модуль, що виділяє з наданого йому на вхід тексту найбільш інформативні іменні групи. За умовчанням кількість таких груп – сім, незалежно від довжини тексту. Extractor використовується в програмних продуктах фірм ThinkTank Technologies і Tetranet,
а також у пошуковій системі Журналу досліджень в галузі штучного інтелекту.

Програма TextAnalyst [46] створена в Московському науково-виробничому інноваційному центрі «Микросистемы». TextAnalyst працює тільки з російською мовою, виділяючи іменні групи і будуючи на їх основі семантичну мережу – структуру взаємозалежності між іменними групами.

Система автоматичного реферування, інтегрована в текстовий редактор Microsoft Word 97 і Microsoft Word 2000, працює на основі методу екстрагування. Звичайно, ця система далека від досконалості, однак виробляє більш-менш вдалі квазіреферати.

Останнім часом над завданнями синтаксичного аналізу речення працює безліч дослідницьких груп, і на даний момент можна вважати, що в межах синтаксичного аналізу речення успішно розв’язано і вже знайшло застосування
у виробництві завдання автоматичного виділення іменних груп. Щодо повного синтаксичного розбору речення, то дана проблема розробляється швидше у стінах університетських експериментальних лабораторій, аніж у лабораторіях промислових підприємств.

Таким чином, усі сучасні методи автоматичного реферування зводяться до розробки алгоритмів автоматичного фрагментування, в основу яких покладено різні принципи фіксації семантичних зв’язків у тексті. У даному напрямі побудови семантичних мереж і встановлення інформативності текстових одиниць ведуться трудомісткі дослідницькі роботи вже протягом багатьох років.

Побудова реферату на базі семантичної системи нині є завданням, вельми далеким від повної автоматизації. У зв’язку з цим актуальними залишаються лінгвістичні проблеми АР та проблеми розуміння текстового повідомлення
у світлі досліджень у галузі АОІ і, зокрема, АР.
^ 1.3. Проблема розуміння текстових повідомлень у системах автоматичної обробки інформації
Інтелектуалізація процесів АОІ загалом і АР зокрема передбачає моделювання процесу розуміння текстової інформації. Існує окремий напрям у науці, що отримав назву «когнітологія» (cognitive science) [47], який досліджує проблеми розуміння.

Проблема розуміння текстової інформації має давню історію. Вона є логічним продовженням проблеми розуміння взагалі і розв’язується по-різному
в різних галузях знань. Міждисциплінарний характер даної проблеми зумовлює існування безлічі різних підходів до неї. Найбільш поширеними підходами до розуміння є [48]:

розуміння як декодування;

розуміння як переклад на «внутрішню мову»;

розуміння як інтерпретація;

розуміння як результат пояснення;

розуміння як оцінка;

розуміння як осягнення унікального;

розуміння як побудова мислених моделей.

Складність самого об’єкта й ізольованість різних наук одна від одної пояснюють ту різноманітність підходів до даного питання, яка існує сьогодні. Єдине, з чим згодні всі дослідники без винятку, це те, що проблема актуальна,
і пошук її розв’язання необхідний.

У проблемі розуміння виділяють три групи теорій [49]:

об’єктні

суб’єкт-об’єктні

суб’єктні.

У теоріях першої групи розуміння прирівнюється до свого об’єкта і, відповідно, переважає структурно-семантичний аналіз. У суб’єкт-об’єктних теоріях до синтаксично-семантичного аналізу додається опис психологічних процесів під час створення й аналізу мовного знака (прагмалінгвістичний опис).
Теорії, що входять до третьої групи, акцентують увагу на оцінці реципієнтом результатів розуміння. Об’єкт розуміння обирається відповідно до завдання
та варіюється від слова, різноманітних видів тексту до ситуації.

Прикладна лінгвістика також не залишається осторонь від проблеми розуміння. Дослідники в даній галузі схильні погодитися тут з низкою філософів, які вважають, що «основними процедурами розуміння є тлумачення – переклад у зміст, формування змісту повідомлення» [50] або «розуміння тексту можна розглядати як процес розв’язання, головним завданням якого є з’ясування змісту тексту» [51], і постійно роблять спроби формалізації змісту мовних висловлювань, текстових повідомлень і моделювання процесу розуміння мови для задоволення зростаючих потреб комп’ютерних технологій, що стрімко розвиваються. Розуміння тексту можна розглядати як одну з проблем «чорної шухляди»: на вході маємо текст, усередині шухляди відбувається «розуміння», а на виході отримуємо деякі відомості, почерпнуті з тексту [17]. Ідеальна модель розуміння, необхідна, наприклад, для систем автоматичного реферування і машинного перекладу, має враховувати складну ієрархію якісно різних видів розуміння: раціонального, моторного, образного, мовного і психологічного. Це означає, що така модель у будь-якому випадку має «антропологічний» (людський) характер [52] і ставиться в безпосередню залежність від самого феномена людини. «…Світ розуміння – це передусім світ людини, світ, неможливий без людини…» [53, c. 223]. Зрозуміти, наприклад, текст – означає відкрити і засвоїти його зміст (смисл), пережити той духовний стан, в якому перебував автор
у момент його створення.

Складність полягає ще й у тому, що смисл, який приписується об’єктам розуміння, кожна людина черпає зі свого, суто особистого внутрішнього світу, так званого «індивідуального смислового контексту» [54, c. 92], який можна представити як систему взаємопов’язаних смислових одиниць, зміст яких визначений їх зв’язками з іншими одиницями і ставленням до індивідуального Я. Але це, швидше, об’єкт досліджень психолінгвістів, соціолінгвістів і філософів. Філософи, до речі, мають досить чітке визначення ролі мови у світі.
Не тільки світ є світом остільки, оскільки він отримує мовне вираження, але й справжнє буття мови в тому тільки і полягає, що в ньому виражається світ.
Дане Х.-Г. Гадамером бачення співвідношення «світ – мова» можна проілюструвати таким чином [55]:





Рис. 1.1. Співвідношення «світ – мова» (за Х.-Г. Гадамером)


А значить, світ є тим цілим, з яким співвіднесений схематизований мовою досвід [56, c. 59].

Поки що вчені ставлять перед собою завдання навчити машину «розуміти» настільки, щоб зробити її максимально ефективним помічником людини.

Яке б широке значення не вкладалося в уявлення про те, що таке «розуміння мови», очевидно, необхідною умовою розуміння є виведення з тексту його безпосереднього, буквального смислу, тобто тієї сукупності значень, яка передається суто мовними засобами. Питання ж «що таке смисл» виділяється
в окрему проблему, яка давно є об’єктом дослідження багатьох учених у різних галузях науки.

Для формування такого смислу необхідно мати у своєму розпорядженні смисли всіх одиниць мови й уміти поєднувати ці смисли в єдину картину. Обидва ці аспекти перебувають у колі лінгвістичної семантики. Якщо значення окремих слів вивчають – кожна зі свого боку – лексична і граматична семантики, то поєднання цих значень у сукупне значення всього речення на основі його синтаксичної структури описує синтаксична семантика.

Семантична складова слова і його граматичних категорій були об’єктами уваги вчених на початкових кроках формування лінгвістичного знання. Більш або менш адекватне уявлення про семантичну сторону речення є результатом діяльності дослідників другої половини ХХ сторіччя. Сьогодні зростає інтерес до історії розвитку лінгвістичної думки взагалі і формування лінгвістичної семантики зокрема. Сам термін «семантика» ніколи не відрізнявся чіткістю змісту. Різні автори давали щодо нього суперечливі визначення: «Семантика – це вивчення смислу» [57], «Семантика – це вивчення смислу слів» [58], «Семантика – це вивчення смислу слів, речень і висловлювань» [59], «…об’єктом семантики є смисл» [60], «галузь семантики – вивчення відношення знака до десигнанта (або сигніфіката)» [61, c. 133]. Визначення семантики як «вивчення смислу» навряд чи можна назвати загальним, адже сам термін «смисл» усвідомлюється по-різному. Однак очевидним є те, що «…семантика – це явище такої складності, яку навіть важко собі у явити» [62, c. 38].

В історії семантики слід виділити три основні етапи:

порівняльно-історична семантика (1883–1931): історія значення окремих слів;

співіснування лексичної і структурної семантики (1931–1963): історія змін у лексиці та питання структурної організації лексики;

моделювання і формалізація мови (з 1963р.): побудова семантичних моделей.

Третій етап можна назвати «революційним», оскільки саме в той період відбувалися кардинальні зміни, що привели до появи безлічі різноманітних семантик: формальної, операційної, аксіоматичної, аргументативної тощо. Це зумовлено впровадженням інформатики та комп’ютерних досліджень і вимагає від прикладної лінгвістики розробки логіко-операційних моделей значення, що передбачають його програмування. Нові напрями зводяться до двох класів:

а) семантичні теорії речення-висловлювання;

б) прагматичні теорії смислу висловлювання.

Якщо прийняти те, що семантика являє собою діяльність, яка полягає
в роз’ясненні смислу людського висловлювання, то метою її є виявлення думки, прихованої за зовнішньою формою мови. А це можливо далеко не завжди. «Мова переодягає думки. І притому так, що за зовнішньою формою цього одягу не можна здогадатися про форму перевдягнутої думки, бо зовнішня форма одягу створюється зовсім не для того, щоб виявляти форму тіла»
[63, c. 44]. Тому цілком зрозуміла наявність кардинальних розбіжностей між представниками різних напрямів у дослідженнях семантики, а відсутність загальноприйнятої, єдиної думки робить будь-які нові спроби вивчення питань семантики для людино-машинних систем вельми актуальними.

У сучасних підходах до розв’язання основних питань семантики можна визначити певний конфлікт між теоретиками комунікації-інтенції та теоретиками формальної лінгвістики. Спробуємо стисло сформулювати основні позиції і тих, і інших.

Представники формальної семантики (Г. Фреге, Б. Расселл, Дж. Остін) вважають, що:

смисл речення детермінований умовами його істинності;

завданням умов істинності є спосіб надання значення реченню;

синтаксичні й семантичні прав