Тиждень 1107.

Подивимось, шо нам приніс минулий тиждень (7-13 лютого).

Спочатку хочу уточнити деякі технічні деталі. Дотепер інструментарій зі збору публікацій працював таким чином, що одиницею тексту в тижневому наборі була збірка всіх статей певного джерела інформації за тиждень. Тобто, розмір корпусу текстів кожного тижня був однаковий і рівний 43 (кількість всіх джерел). Це, все таки, надто спотворювало обчислення значення TFIDF кожного слова для обох його складових: і при обчисленні TF (оскільки розмір тексту виявлявся великим, що призводило до зменшення значення його відносної частоти), і для IDF (загальна кількість текстів була заниженою, що викликало також заниження його значення). Отже, в результаті ми маємо суттєве спотворення при визначенні важливості кожного слова. Крім того, при обчисленні сентиментної направленості кожного тексту відбувалась надмірна узагальненість і неоднозначність, оскільки кожен текст складався із кількох десятків-сотень (а то й тисяч - у випадку форумів) емоційно різнонаправлених публікацій. Виходило, що обчислювалась якась незрозуліла усереднена величина, яка багато в чому залежала від розміру тексту та кількості вжитих в ньому слів із суб'єктивним забарвленням.

Зважаючи на все це, було вирішено збір та подальшу обробку текстів привести до одного стандарту "одна публікація - один текст". Для форумів це: "один пост - один текст". Тепер розмір корпусу становив 25-30 тис. текстів. Але тексти (особливо на форумах) можуть складатися із дуже незначної кількості слів (починаючи від одного), що в свою чергу призводитиме до необгрунтовано великого значення його відносної частоти TF. Тому, для відсіювання всіх незначних публікацій, було встановлене обмеження мінімальної кількості слів у тексті - 100. Після цього розмір корпусу зменшився до 5-6 тис. текстів.

Тепер почнемо із загальної статистики за тиждень. 

Розмір словника цього тижня був на рівні попередніх тижнів - 80К слів. А кількість повторів кожного слова зменшилась в 2 рази, оскільки було введене обмеження на мінімальну кількість слів у тексті.

30 слів із найбільшим TFIDF.

Загальний рівень сентиментної спрямованості по всім текстам становив +0.17.

Тепер подивимось на граф 100 перших слів з найбільшим значенням СЗС.

Як і раніше, розмір шрифту відповідає значенню TFIDF слова, а колір - емоційній направленості.

Цього тижня граф вийшов репрезентативний хоча і різношорстний. Як і попередні тижні, найбільш значимі (за TFIDF) слова мають сентиментне забарвлення близьке до нейтрального (жовтий колір - +0.2...+0.3). Найважливішими, як і раніше, словами були "украина", "президент", "янукович", "страна" і "будет". Тут, правда, є ще слово "написав", яке має найбільший розмір, але воно здебільшого має відношення лише до публікацій у форумах, тому ми його до уваги не братимемо, хоча воно також має зв'язок і із зазначеними вище словами. "Украина" і "страна" з'єднані з переважною більшістю "великих" слів, оскільки вони є загальними для вжитку словами і як правило їх використовують разом із іншими, частими у вживанні словами. "Президент" з'єднаний із попередніми словами, а також має тісний зв'язок із "свобода" (яке має, звісно, забарвлення +0.9), "слово" (+0.35), "реформа" (+0.95), "демократі(и)я" (+0.46) та в мершій мірі із "пенсі(и)я" (+0.35), "добре(о)" (+0.99) і "правильний(о)" (+0.92). "Янукович" також має тісний зв'язок із "реформа", яке в свою тчергу з'єднане із "протест" (-0.91)... У "янукович" також існує зв'язок із "прекрасни(ы)й" (+0.96) і "донецк" (+0.36). Тобто наявні зв'язки зі всіма словами, які представляють декларації нашого президента.

Серед менш популярних але не менш цікавих тем минулого тижня можна виділити такі ланцюжки:

• "страна" (+0.26) - "развитие" (+0.97) - "торговля" (+0.54) - "нарушение" (-0.96); (мабуть, пов'язаний із зростанням продовольчих цін та повідомленнями Кабміну про порушення збоку роздрібних мереж);
• "страна" (+0.26) - "независимый(ость)" (+0.96) - "преступление" (-0.98) - "голод" (-1) - "страшный(о)" (-0.98) - "геноцид" (-0.92); (ця тема постійно маринується на практично всіх форумах);
• "жизнь" (+0.40) - "сожаление" (-0.99) - "куй" (-1) - "дерьмо" (-1); (а це вже шось із вкрай депресивного)).

Також є група слів, які ніяк (принаймні при даному рівні наближення) не пов'язані із іншими зі 100 найважливіших. Вони тією чи іншою мірою відображають якісь моменти з новин за тиждень, шо минув. Але переважна більшість із них походять із форумів або є уривками із рекламних стрічок, які потрапили в тексти корпусу.

Розглянемо детальніше графи деяких із цікавих, на мій погляд, слів.

Тут мова йшла про пенсійну реформу та все, що з нею пов'язано, а також відношення до цього ("геноцид")...

Тут виділені слова, які йдуть поряд із "грн" - "млрд", "млн", "тыс" та "платил(и)", "сверх", "бирка" і "блять".)) 

   

 

Графи про тарифи та ціни, без коментарів.

Тут відображені взаємозв'язки Янукович-Тимошенко-Ющенко. Вони все ще згадуються один в контексті одного, крім того "тимошенко" ще поєднується із "власть", а через нього - "политический", "уголовный" і "дело".

Минулого тижня мер Києва Л.Черновецький знову з'явився в новинах у зв'язку із його виходом на роботу (:). Напряму зв'язаний із "янукович", "президент" і "министр", крім того є маленький зв'язок із словом  негативним "страх"...

Ну і під кінець, приз найпозитивнішого політика минулого тижня отримує Н.Шуфрич (+1). Крім можливого призначення його на посаду губернатора, він має невеличкий зв'язок із "юмор".:)

 

Цього разу це все. По представленим графам кожен може самостійно виявити ті чи інші залежності.

Далі буде.

 

Перші п'ять тижнів 2011 року.

Отож, почнемо огляд тижнів нового року, що минули.

За минулі п'ять тижнів всього було вжито трохи більше 184 тис. унікальних слів. По тижнях це виглядало наступним чином.

Кількість слів за тиждень зменшувалась від 85К до 70К слів. А от середня кількість вживань кожного слова збільшувалась.

Найголовнішими словами за всі ці тижні були (за сумою TFIDF):

Ю.Тимошенко була найпопулярнішою серед всіх політиків.

Поглянемо тепер на графи слів. Перший граф - 50 слів з найбільшим значенням СЗС.

Розмір шрифта відповідає значенню TFIDF слова, а колір - його сентиментному забарвленню. Як можна побачити, слова з великим TFIDF мають емоційну спрямованість, близьку до нуля (жовтий колір). Ю.Тимошенко була популярна в цей період і єдина мала негативне емоційне забарвлення на рівні -0.15. Ю.Луценко також мав сентиментну оцінку на такому ж рівні, проте про нього не так часто згадували і він не потрапив у "першу півсотню" слів.

Поглянемо на слова, які мали найбільшу кількість зв'язків.

Як і раніше, окрім загальних слів "украина", "страна", "украинский", "друг(ой)", за минулий період багато подій крутились навколо президента В.Януковича.

Під кінець подам зв'язки деяких слів з найбільшим СЗС (позитивним і негативним).

Наразі це все. Наступного разу (сподіваюсь, цього тижня) я почну викладати щотижневі звіти.

Далі буде.

63 тижні української політики. Графи.

Як і обіцяв, наведу деякі зразки словарних графів, сформованих за параметрами, обчисленими за означений 63-тижневий період. Кожне слово являє собою вершину графа з двома параметрами: значимість (TFIDF) та полярність (СЗС, див. попередній пост). Слова з'єднуються між собою гранями, які мають один параметр - контекстна міра близькості двох слів. Щоб не захаращувати граф для кожного слова обчислюється лише 10 найближчих сусідів в наборі текстів.

Окремо хочу сказати про програмне забезпечення, яке дозволяє будувати та редагувати графи. Після тривалих пошуків та спроб я надибав на Gephi. Це найкраща програма з величезною кількістю інструментів, неймовірними можливостями та підтримкою багатьох (якщо не всіх) форматів представлення графів. До того ж працює у Windows, Linux та Mac OS.

Отож, почнемо. Преший малюнок - 50 слів із найбільшим значенням СЗС.

Розмір шрифта відповідає абсолютному значенню СЗС, колір - сентиментній полярності слова (червоний - позитивній, синій - негативній), а ширина грані - контекстній близькості слів.

Як можна помітити, тут виділилось два скупчення, всередині кожного з яких зв'язки між словами досить сильні. Перша група пов'язана із конкретними політиками ("янукович", "тимошенко", і не потрапив попередній президент...), партіями (""парти[і]я", регион[ы]", "фракци[і]я"), посадами ("президент", "депутат", "премьер", "министр") та діями ("сказал", "заявил"). Дещо осторонь тут стоять "свобода", "слово" і "право", які зв'/зані лише з "україна", "сказал", "друг" та "может" із другої групи. В цьому скупченні всі слова мають позитивне забарвлення. Найбільш зв'язків тут має "янукович", це слово з'єднане практично з кожним іншим словом групи. А от друге по величині "президент" напряму зв'язане лише із словами "виктор", "янукович" і "тимошенко" (як не дивно).

 

Друга група представляє слова загальної та абстрактої тематики: "украина", "украинский", "выбор(ы)", "россия", "страна", "развитие", "помощь", "поддержка", "лучше(ий)", "дело", "вопрос" тощо. Тут містяться також слова із негативним СЗС: "проблема", "уголовный", "голодомор" та "против" (СЗС близько 0). Слово "украина", хоч і має найбільше значення СЗС, проте з'єднане лише з двома словами: "россия" і "может". Друге по рангу "выбор(ы)" також має лише два зв'язки: "был" та "россия". Двома незаперечним лідерами за зв'язками в цій групі є слова "может" і "был".

Подивимось, які ще найбільш зв'язані слова можна виділити з набору.

Найбільш з'єднаними є слова: "янукович" (беззаперечно), знову ж таки "может" і "был", "парламент", "заявил", "сказал". Причому звя'зок між собою останніх двох є чи не найміцнішим серед всіх.

І на закінчення наведу кілька графів найближчих зв'язків деяких слів з позитивним та негативним СЗС.

 

 

Це заключний пост із серії про 63-тижневий період. Надалі я планую щотижня публікувати аналогічні звіти за попередній тиждень. А наступного разу будуть результати обробки публікацій за 5 перших тижнів нового року.

Далі буде.

 

 

 

 

 

63 тижні української політики. Слова. Частина 2.

Продовжимо розбір слів. Поглянемо на такі, актуальні для кожних виборів слова:

Як бачимо, з "мовою" проблем не було. Воно (слово) хоч і мало значно менше значення СЗС, порівняно із його парою, проте рідше перетинало від'ємну позначку. "Язык" вів себе більш неспокійно. З графіка можна помітити два великі сплески позитивних значень СЗС: перший - відразу після виборів, коли новий президент обіцяв штроку підтримку регіональних мов (в основному, звісно, російської), другий - починаючи з 37-го кілька тижнів підряд публікувались новини про запровадження російської мови, як регіональної в деяких регіонах країни і відновлення дублювання фільмів в кінотеатрах російською мовою тощо.
Ще одна чи не щороку актуальна тема.

Наприкінці 2009 року слово "газ" викликало суттєво негативні асоціації через непевність, як і кожного року, щодо домовленостей між урядами України і Росії про поставки газу на наступний рік. Але, як бачимо, на початку року СЗС "газу" вийшло на нульову відмітку, тобто ситуація стабілізувалась. 17-го тижня відбувся великий позитивний стрибок його СЗС до 2.3 через підписання харківських домовленостей і через обіцяння дешевого газу для населення. Потім, правда, позитивна СЗС швидко згасла і до кінця року кілька разів отримувала від'ємні значення через подорожчання таки газу та комунпослуг для населення.
Розглянемо тепер оцінки СЗС для державних установ. Спочатку уряд.

Що цікаво, до виборів, коли керівником уряду була Ю.Тимошенко, слова "премьер" і "правительство", хоч і були корельованими, проте мали суттєво відмінні СЗС: в першого вона була в 3 рази більшою - до +1.6. Це свідчить проте, що Тимошенко була незалежним від уряду гравцем і її саму суспільство сприймало значно краще, ніж уряд в цілому. Це, також, може свідчити про те, що і уряд і його діяльність мало залежали від його керівника (і погано ним контролювались). Надалі після президентських виборів та обрання на посаду прем'єра М.Азарова, кореляція СЗС обох зазначених слів стала однозначною. Тобто, тепер все стало на свої місця, прем'єр=уряд...
Подивимось на іншу важливу складову держави - її "хвацькі руки".

Три з чотирьох вказаних слів - "сбу", "милиция" і "прокуратура" мали стабільно негативний контекст в публікаціях протягом всього періоду. Найменш негативні значення СЗС мала міліція. А от прокуратура тут головний антигерой, під кінець 2010 року, через активізацію заведення кримінальних справ на деяких представників опозиції, її СЗС сягнув відмітки -1.3. Серед силовиків вигідно відрізняється "армия/армія", СЗС якої рідко отримувало від'ємне значення. Причому, до виборів ці значення були більшими, ніж після них.
А як щодо сусідів та партнерів?

Перед виборами слова "россия" і "российский" отримували невеликі позитивні та негативні СЗС. Після виборів вони почали зростати і сягнули свого максимуму 17-го ("россия" - +3.0) та 21-го тижнів ("российский" - +2.2) - в пік розвитку відносин між обома країнами. Надалі їх рівні почали зменшуватись і до кінця року відображали схожі значення, що й на початку періоду..

Тут, як бачимо все значно гладше. Про "сша" згадували лише два рази: перший раз 16-го тижня під час візиту президента В.Януковича до штатів і другий - коли держсекретар США Г.Клінтон відвідала Київ. І надалі все було практично на рівні 0. Що стосується інших країн, то величина СЗС тут значно менша, ніж у попередньому випадку і тому говорити про якісь тенденції складно. Єдине, що можна сказати, що контекст використання слова "германия" був трохи вищий, ніж у "польша". Хоча під кінець року все зрівнялось.
На цьому із сентиментними значеннями слів закінчимо.
Наступного разу я подам узагальнений словарний граф за весь період із ваговим відображенням зв'язків між словами.
Далі буде.
 

63 тижні української політики. Слова. Частина 1.

Сьогодні ми розглянемо як змінювалась сентиментна спрямованість різних небезцікавих слів за окреслені 63 тижні.

Почнемо із переліку найпопулярніших серед них, визначених за допомогою значення TFIDF.

 

Тут і надалі всі слова подані без закінчень, так як вони представлені у сформованих словника.

Як бачимо, найуживанішими були слова, пов'язані із назвою нашої країни (що і не дивно), її першої особи, імен політиків та слів, пов'язаних перш за все із минулими виборами президента.

Спочатку щодо метрики, якою порівнюватимемо слова. З одного боку є значення TFIDF, яке визначає міру важливості того чи іншого слова (його частоту вживання та унікальність), з іншого - оцінка сентиментної спрямованості слова (позитивне або негативне значення). Введемо нову величину, яку назвемо "сентиментна значимість слова" (СЗС), і визначатиметься вона як добуток двох вище згаданих величин. Ця величина оцінюватиме важливість того чи іншого слова в негативному чи позитивному контексті.

Почнемо з Батьківщини.

Протягом всього періоду спостережень "украина/україна" мають стабільні позитивні значення СЗС з деякими варіаціями. Український варіант має приблизно втричі менше СЗС через в стільки ж разів меншу частоту його вживання в джерелах публікацій. Під кінець минулого року обидва значення значно "занепали" практично до нуля, що можна пояснити передноворічним політичним затишшям, коли всі більш думають не про те, що відбувається в країні, а про те, що відбуватиметься у кожного за столом на свята. Слово "украинский" також має значно менше СЗС ніж "украина". І хоча воно відчутно корелюється з останнім, проте набуває також і від'ємних значень. Що може бути свідченням того, що ці два слова хоча і є спорідненими, але несуть різне семантичне навантаження. "Украина" як правило вживається для опису діяльності офіційних осіб чи держустанов у, як правило, позитивному сенсі, а "украинский" використовується також для оцінки діяльності того чи іншого національного суб'єкта. Слово "киев" тут розміщене лише для порівняння як таке, що протягом всього періоду отримувало як позитивні, так і негативні величини СЗС.

 

Продовжимо зі словами, які були найважливішими для політичного життя країни.

Як і можна було очікувати, з початку спостережень (і початку офіційної передвиборної кампанії) СЗС слів "выборы/вибори" мало стабільно позитивні величини і інтенсивно зростало аж до 7-го тижня 2010 року - наступного після другого туру та тижня оголошення результатів виборів. Після чого з таким самим успіхом різко впало. Деяке пожвавлення, пов'язане з цими словами відбулось 45-го тижня 2010 року, коли ЗМІ почали обговорювати дату наступних виборів до Верховної Ради. Як і з попередніми словами, цікавість до них зменшилась наприкінці року. Зі словом "политик(а)/політик(а)" не все так однозначно. На початку передвиборних перегонів воно мало суттєві негативні СЗС, які, правда, під час проведення турів виборів дещо покращились, але не надовго. І надалі ці слова вживались як в переважно позитивному, так і негативному контексті.

Після загальних слів про вибори перейдемо до кандидатів.

Тут цікаво. Від початку передвиборних перегонів і до першого туру найбільшу і порівняно схожу величину СЗС (біля 2) мали Ю.Тимошенко і В.Ющенко. У В.Януковича вона була вдвічі меншою. Під кінець року значимість Ющенка почала суттєво падати. При оголошенні результатів першого туру (4-ий тиждень) СЗС обох кандидатів, що перемогли, різко зросла до 6. А от під час другого туру вони розійшлися: СЗС Януковича зріс до трохи більше 9, а в Тимошенко - впала аж до невеликого від'ємного значення. У діючого на той час президента СЗС після другого туру скотилось до 0 і перебувало там до кінця року... У Тимошенко СЗС так само опустилось до 0 і під кінець року частіше почало отримувати від'ємні значення через її (Тимошенко) постійні виклики до Генпрокуратури. У нинішнього президента, як бачимо, протягом наступних тижнів СЗС перебував на недосяжному для інших рівні в 2 одиниці. Були правда два моменти, коли слово "президент" перетинало нульову позначку: 15-го, коли Янукович вніс зміни до Конституції щодо розширення повноважень президента і 17-го тижня, коли були підписані з Росією т.зв. харківські угоди про знижки на газ в обмін на продовження терміну перебування ЧФ РФ. Як бачимо, обидві ці події спричинили зміну контексту слова "президент" (і Янукович) до однозначно негативного. Під кінець року в обох цих слів СЗС також знизилось практично до 0.

А що ж інші учасники перегонів?

 

Заслужено вигідно під час першого туру серед них виглядав С.Тигіпко, який зайняв третє місце на виборах. Потім, правда, його СЗС мало відрізнялось від нульового, але як член діючого уряду, час від часу нагадував про себе. Найбільші позитивні (і порівняно великі від'ємні) значення СЗС протягом всього періоду, як третя особа держави, отримував В.Литвин. Ю.Луценко хоч і не був кандидатом в президенти, проте цікавий нам для порівняння: протягом вього періоду значення його СЗС коливалось навколо 0, а наприкінці року, після його затримання, воно впало до рекордної позначки в -1.5.

Подивимось тепер, в якому контексті вживалить назви двох основних політичних партій.

Партія Регіонів протягом всього періоду мала лише позитивні значення СЗС, які зросли до 2 під час виборів, яке проте потім опустилось до менше 0.5, а під кінець року і того менше. А от БЮТ постійно коливалась від +0.7 після виборів до -0.7 на кінець року, повторюючи траекторію СЗС її лідера. Слово "фракция/фракція" отримало свій максимум у 2.3 після виборів, коли відбувалось збільшення чисельності фракції Партії Регіонів у Верховній Раді (в основному за рахунок членів БЮТ).

На сьогодні це все. Наступного разу поговоримо про інші слова, не пов'язані прямо із політикою.

Далі буде.

 

63 тижні української політики. Емоційний контекст.

Сьогодні, як і обіцяв, приведу деякі результати оцінки сентиментного (позитивного чи негативного) контексту тижнів, які розглядаються. Ця оцінка виражається в числовому значенні від -1 до +1.

Спочатку сумарна полярність за всіма джерелами інформації по тижнях.

На початку спостережень емоційний контекст публікацій був на досить високому позитивному рівня - більше +0.7. Потім (46-49 тижні 2009 року) він різко знизився до +0.4..+0.45 - далося взнаки загострення передвиборної боротьби. Надалі чотири передноворічних тижні (50-53 тижні 2009 року) позитивне емоційне спрямування знову зросло до +0.7..+0.85. Народ (в даному випадку - електорат), усунувшись від "високого", почав готуватися до святкувань, і ні ЗМІ, ні політики не ризикували завадити зі свого боку цій усталеній традиції.

А от відразу після свят (2-ий тиждень 2010 року), ніби скучивши за улюбленою справою, за один цей тиждень (який був останнім для агітацій) політики встигли знизити загальний сентиментний рівень до трохи більше +0.5.

Тиждень після першого туру виборів (4-ий 2010 року), другий тур (5-ий тиждень) та наступні сім тижнів були відзначені високим позитивним контекстом публікацій ЗМІ. Особливо тут хочу відмітити сентиментну оцінку російських ЗМІ, які під час другого туру та кілька тижнів по ньому максимально позитивно оцінювали результати виборів.

Період з 14-го по 33-ій тижні відзначений суттєвим "пост-ейфорійним" падінням рівня оцінки, який за цей період становив в середньому +0.6. Наприклад, за 14-15 тижні головними темами були звинувачення нового президента на адресу попереднього уряду Ю.Тимошенко у фінансових зловживаннях і бажання провести всесторонній аудит його (уряду) діяльності, слово "тимошенко" за ці тижні мало практично нульове сентиментне значення, тобто ні добре, ні погано. Також ці тижні були відмічені бажанням президента внести зміни до Конституції та в склад Конституційного Суду (слова "конституці(и)я" та "суд" в ці тижні мають стабільну негативну сентиментну складову на рівні -0.2..-0.3, що може свідчити про ставлення суспільства до кроків президента) та деякі "реформи" історії України з боку президента, як то ставлення до Голодомору та С.Бандери. Наступні кілька тижнів, починаючи з 17-го були присвячені обговоренню харківських угод щодо перебування ЧФ РФ в Криму та ціни на газ. В цілому можна сказати, що ці угоди були сприйняті позитивно, якщо "флот" мав сентиментне значення біля 0, суспільство не мало якогось одностайно полярного ставлення до нього, то "газ" мало твердо позитивне сентиментне спрямування на рівні +0.3..+0.4. Та й взагалі, слово "росія/россия" було однозначно позитивне - +0.4..+0.5.

Тижні 32 і 33 сягнули локальної нижньої межі оцінки контексту до +0.4. В основному вони були присвячені таким негативним в сентиментному сенсі подіям як пожежі (-0.02) в Росії, затримання О.Пукача (-0.2), як головного підозрюваного у справі Г.Гонгадзе (-0.07) та пертурбації в столичному керівництві ("мэр" - -0.16, "киев" - -0.07).

Новини 35-36 тижнів були переважно позитивними, вивівши сентиментну оцінку контексту до +0.8. В основному публікації були присвячені візитам В.Януковича до Німеччини (+0.3) та Китаю (+0.23).

48-ий та 49-ий тижні принесли із собою різке падіння рівня сентиментної оцінки до трохи більше +0.3. Тут топ-новиною була початок та неоднозначне закінчення акції (-0.7) протесту (-0.9) підприємців проти прийняття нового Податкового (-0.3) кодексу (-0.56).

Три останні тижні 2010 року були ознаменовані гучними новинами про постійні допити Ю.Тимошенко (-0.05) генпрокуратурою, відкриттям кримінальних справ проти екс-міністрів (-0.3) попереднього уряду Б.Данилишина (-0.2) та Ю.Луценка (-0.2).

Оцим попередній рік і закінчився. Як видно, в оцінці сентиментної направленості закінчення року відбувалось по спадаючій траєкторії. Що принесе нам рік новий, побачимо згодом.

 

А наступного разу я подам сентиментні оцінки по тижнях деяких актуальних для нас слів.

Далі буде.