- Надумав я для отримання досвіду в галузі Text Mining провести простий частотний аналіз використання різних слів у ЗМІ. Для прикладу було взято таку лінгвістично активну область, як українська політика. Особливо під час виборів.
- Отже, з-поміж мас-медіа я вирішив виділити чотири різних класи:
- українські ЗМІ;
- російські ЗМІ;
- огляди закордонних ЗМІ (укр./рос. переклади);
- форуми українських ЗМІ.
- Відбір проводився за критеріями популярності, наявності аналітичних статей та/або можливістю автоматизованого скачування великої кількості статей. Всього було відібрано 43 джерела: 1 - 19; 2 - 9; 3 - 3; 4 - 12. Кому цікаво - повний перелік тут.
- В кожного джерела відбирались лише статті, що стосувались української політики. По можливості брались статті обома мовами - російською та українською. На форумах до уваги брались лише гілки з кількістю постів більше 100.
- Для кожного з джерел формуються тижневі збірки статей, з яких потім (після деякої попередньої обробки, наприклад видалення останніх голосних та відмінкових закінчень в слові) формувались щотижневі словники використаних слів. Як тиждень №1 для аналізу взято 43-й тиждень 2009 року (19.10.2009-25.10.2009). Перший тиждень передвиборної кампанії.
- В кожному з джерел інформації для кожного слова проводилось обчислення його TFIDF-величини - добуток частоти використання слова в даному тексті (TF) та унікальності використаного слова для інших текстів (джерел) з набору.
- Після обчислення сумарного значення TFIDF всіх слів по всім джерелам за тиждень проводився відбір слів, для яких це значення було більше-рівне k*S, де S - величина стандартного відхилення сумарних значень TFIDF всіх слів, а k - деякий коефіцієнт.
З відібраних слів формувалась таблиця TFIDF -значень цих слів для всіх джерел.
- На даний час зібрано і опрацьовано тексти всіх джерел для 11-ти тижнів включно (по 03.01.2010). Результати опрацювання подано нижче.
- Після відбору найбільш значимих слів за вказаним вище методом отримуємо 287 слів. Їх список - тут. Слова відсортовані за зменшенням значимості.
- Після проведення аналізу найбільш значимих слів для кожного джерела по тижням отримуємо результати, подані в наступній таблиці.
- Отже, по порядку:
Українські ЗМІ (позиції 1-19):- протягом практично всіх тижнів найпопулярнішими словами вітчизняних мас-медіа були "украина", "україна", "президент", а також "Ющенко", "Тимошенко" і "Янукович" в різних комбінаціях;
- протягом 2-го, 3-го та 4-го тижнів (26.10.2009-15.11.2009) ЗМІ почали часто використовувати слова "грипп", "грип", "эпидемия", "епідемія", піддавшись всеукраїнській гриповій істерії. Особливо це стосується всіх чотирьох телевізійних каналів: Час (5 Канал, 5.ua), Факти (ICTV, ictv.ua), Репортер (Новий канал,
www.novy.tv
) і Вiкна-новини (СТБ, vikna.ua), таких поважних ресурсів новин як Интерфакс-Украина (
www.interfax.com.ua
) і Корреспондент.net (korrespondent.net), а також деяких по менше: Цензор.нет (censor.net.ua), DailyUA (daily.com.ua), Сегодня.ua (segodnya.ua), і Версии.com (versii.com). На 4-ий тиждень (09.11.2009-15.11.2009) про епідемію грипу багато писало ЗЕРКАЛО НЕДЕЛИ/ДЗЕРКАЛО ТИЖНЯ (zn.ua/dt.ua), але вже в руслі заспокоєння мас та викриття непрофесійності (як завжди) дій влади; - звичайно, під час передвиборчої кампанії українські мас-медіа не були осторонь цієї теми, але відносно більше цими питаннями (слова "выборы" і "вибори") переймались GLAVRED.INFO (glavred.info), proUA.com (proua.com), Интерфакс-Украина і Українська правда (
www.pravda.com.ua
); - така делікатна тема, як "газ" найбільше цікавила proUA.com (1-ий і 10-ий тиждень), ЗЕРКАЛО НЕДЕЛИ/ДЗЕРКАЛО ТИЖНЯ (6-ий тиждень) та Репортер;
- питання "бюджет" найбільш висвітлювали ЗЕРКАЛО НЕДЕЛИ/ДЗЕРКАЛО ТИЖНЯ (3-ій тиждень), Час (9-ий і 10-ий тижні) та Репортер (10-ий тиждень).
Російські ЗМІ (позиції 20-28):
- найбільш популярними словами російських мас-медіа (як і в їх вітчизняних колег) протягом всього періоду були "Украина", "Президент", "Ющенко", "Тимошенко" і "Янукович" в різноманітній послідовноті;
- тема "грип" стосовно України протягом 3-го тижня найбільш цікавила ВЗГЛЯД.РУ (vz.ru), NEWSru.com (newsru.com), ИА REGNUM (regnum.ru) і Комсомольская правда (kp.ru);
- про "газ" для України РБК (
www.rbc.ru
) та Лента.Ру (lenta.ru) почали говорити ще 3-ого тижня, і далі цю тему різні російські ЗМІ нагадували аж до 8-го тижня включно. Взагалі про газ в наших сусідів писали значно охочіше ніж в нас; - найбільше цікавились про "выборы" в Україні такі видання як Дни.Ру (
www.dni.ru
), РИА НОВОСТИ (rian.ru), Газета.Ru (gazeta.ru), ИА REGNUM, Лента.Ру та РБК; - про "майдан", "оранжевая" і "революция" в річницю (6-ий тиждень) згадували Газета.Ru, Комсомольская правда та ВЗГЛЯД.РУ;
- "Луценко" був удостоїний уваги тією ж Газета.Ru, Лента.Ру та ВЗГЛЯД.РУ під час його конфлікту з Ющенком.
Закордонні ЗМІ (позиції 29-31):- найвживанішими словами за період були "Украина", "Россия", "газ" і "Тимошенко";
- питання "газ"у цікавило іноземні мас-медіа починаючи з 3-го тижня і до кінця періоду (кінця року) - що цілком зрозуміло.:)
- питання "выборы" в Україні найчастіше висвітлювалось 2-го, 5-го та 8- тижнів;
- "оранжевая" і "революция" також були згадані в річницю 6-го тижня.
Форуми українських ЗМІ (позиції 32-43):- на відміну від всіх попередніх груп в цій групі джерел окрім слів "Украина" і "Россия" найбільш вживаними є слова "русский", "украинский", "язык", і рідко згадують наших політиків за прізвищами;:)
- з політиків "Янукович" найчастіше згадували на форумах ОБОЗРЕВАТЕЛЬ/ОГЛЯДАЧ (obozrevatel.com/oglyadach.com), Української правди, GLAVRED.INFO і From-ua.com (from-ua.com); "Ющенко" - на форумах ЗЕРКАЛО НЕДЕЛИ/ДЗЕРКАЛО ТИЖНЯ, From-ua.com і Української правди; "Тимошенко" і "Тигипко" - лише на форумі ЗЕРКАЛО НЕДЕЛИ/ДЗЕРКАЛО ТИЖНЯ. Стосовно Ющенка і Тимошенко на форумах як правило вживають прізвиська.:)
- як не дивно "грипп" і "грип", який наробив чимало шуму у вітчизняних та російських ЗМІ на форумах обговорювали досить мляво, хіба що на форумах Корреспондент.net (2-го тижня), GLAVRED.INFO і Української правди (3-го тижня);
- "майдан" згадали лише на форумах proUA.com (5-го тижня) і From-ua.com (6-го тижня);
- слід відмітити, що переважна більшість форумів є російськомовними, україномовні пости можна знайти лише форумах ЗЕРКАЛО НЕДЕЛИ/ДЗЕРКАЛО ТИЖНЯ, УРА-Информ (ura-inform.com), Української правди, ПОДРОБНОСТИ (podrobnosti.ua) та ОБОЗРЕВАТЕЛЬ/ОГЛЯДАЧ.
Звичайно таке порівняння засобів інформації за п'ятьма найпопулярнішими словами є досить грубим і неточним.
Наступного разу я представлю результати візуалізації на багатомірний карті, які є значно точнішими та набагато нагляднішими.
