ارائه دهنده: فاطمه پورغلامعلی نظرکاوی و داده های عظیم ارائه دهنده: فاطمه پورغلامعلی

سرفصل مروری بر نظر کاوی داده های عظیم بستری برای نظرکاوی ابزارها تعریف سطوح مختلف تحلیل دسته بندی حسی واژگان حسی انواع واژگان حسی داده های عظیم بستری برای نظرکاوی مروری بر کارهای انجام شده ابزارها ابزارهای متن کاوی توسعه ابزارهای متن کاوی برای داده های عظیم و نظرکاوی

مقدمه تعریف نظرکاوی به رشته مطالعاتی اطلاق میگردد که در آن به تجزیه و تحلیل احساسات، ارزیابی ها، گرایشها و به طور کلی نظرات افراد در مورد موجودیت هایی مثل محصولات، سرویسها، سازمانها، اشخاص، اتفاقات و خصیصه های آنها پرداخته می­شود

تعریف رسمی(Liu,2012) تعریف نظر: یک نظر یک چهارگانه (g,s,h,t) است که در آن g هدف (آنچه که "نظر" در مورد آن بیان شده است)، s حس بیان شده، h صاحب نظر و t زمان بیان نظر می­باشد تعریف موجودیت: یک موجودیت e یک محصول، سرویس، شخص، رخداد، سازمان یا عنوانی است که با یک جفت تعریف می­شود:e:(T,W) که T یک سلسله مراتب جزء و زیرجزء و امثال آن است و W مجموعه خصیصه های آن موجودیت. هر زیرجزء هم خودش خصیصه های خود را داراست.

لایه های مختلف تحلیل سطح سند: در این سطح با داشتن یک سند نظری به دنبال آن هستیم که بدانیم کل این سند نظر مثبت یا منفی دارد به عنوان مثال با داشتن یک مقاله (review) از یک محصول سیستم مشخص می­نماید که مقاله نظر کلی مثبت یا منفی در مورد مساله دارد. سطح جمله: جملات به دسته های مثبت، منفی، و خنثی دسته بندی می­شوند. سطح موجودیت و ویژگی: به جای پرداختن به ساختارهای زبان مثل جمله، پارگراف، عبارت و ... در این سطح مستقیما سراغ خود نظر می­رویم. اغلب موجودیت و حس مربوط به آن (دو جزء اصلی نظر) همراه با هم می­آیند. در این سطح به دنبال کشف حس روی موجودیت ها و جنبه ها (ویژگی ها)ی مختلف آنها هستیم. سطح مفهوم

Sentiment Classification دسته بندی با یادگیری نظارتی ایجاد مجموعه نظرات برچسب خورده ایجاد واژگان حسی انتخاب ویژگیهای مناسب: کلمات مرتبط با موضوع، نرخ رخداد عبارت ، برچسب گذار اجزای کلام ، عبارات حسی، تغییر دهنده معنا ، وابستگی نحوی استفاده از الگوریتم های دسته بندی: ماشین پشتیبان بردار (SVM) بیزین ساده (Naïve Bayes) ، Maximum Entropyو Decision Tree محاسبه مجموع امتیاز سند

Sentiment Classification (در سطح سند) دسته بندی با روشهای غیر نظارتی الگوهای متداول نحوی که معمولا برای بیان احساس بکار میروند ارائه شده اند این الگوها معمولا از روی برچسب های POS ساخته می­شوند[turney2002]

دسته بندی با روشهای غیرنظارتی عبارات دو واژه ای که با این الگوها تطابق داشته باشند استخراج میگردند گرایش حسی عبارت محاسبه میگردد محاسبه میانگین SO تمام عبارات

خلاصه سازی نظرات بصری سازی خلاصه سازی مبتنی بر ویژگی

دسته بندی جدیدابعاد نظرکاوی(FEL2014) Subjectivity Polarity یا قطبیت مثبت یا منفی شدت رنجی از اعداد برای بیان درجه مثبت و منفی بودن احساس خوشحالی ناراحتی هیجان امید ترس

منابع لغوی نظرکاوی واژه های حسی واژه هایی هستند که اغلب برای بیان نظرات و احساسات مثبت و منفی به کار برده می­شود اغلب صفت گاها قید و فعل خوب، عالی، شگفت انگیز بد، ضعیف، وحشتناک یک لیست از واژه ها و عبارات حسی واژگان حسی (Sentiment lexicon) نام دارد

تولید واژگان حسی روش دستی روش مبتنی بر پیکره روش مبتنی بر لغت نامه

منابع لغوی نظرکاوی Opinion Finder lexicon (Wilson2005) لیستی از کلمات انگلیسی در دسته بندی مثبت و منفی ANEW (Bradley2009) لغت نامه ای با قواعد موثر(affective norms ) برای کلمات انگلیسی AFINN (Nielsen2013) کاربرد ANEW برای Twitter SentiWordnet (Baccianella2010, Esuli2006) توسعه لغت نامه معروف WordNet با انتساب درجه حسی به تعدادی synset

منابع لغوی نظرکاوی SentiStrength (Thelwall,2013) NRC (Mohammad2013) توسعه منابع لغوی برای تخمین شدت NRC (Mohammad2013) برای تخمین احساسات emotion تعدادی کلمه انگلیسی با توجه به emotional wheel taxonomy (Plutchik2001) نشانه گذاری شده اند SenticNet (Cambria2012) منبع مبتنی بر مفهوم برای استخراج اطلاعات حسی از مفاهیم common sense

Big Data

نظرکاوی و داده های عظيم

تحلیل بزرگ مقیاس اخبار و وبلاگها 7 دامنه حسی مشخص شده N. Godbole, M. Srinivasaiah, and S. Skiena. “Large-scale sentiment analysis for news and blogs”. In ICWSM, Boulder, 2007 تحلیل بزرگ مقیاس اخبار و وبلاگها 7 دامنه حسی مشخص شده عمومی سلامت تجارت جرم ورزش سیاست پزشکی توسعه دانه های حسی اولیه تابع عمق مبتنی بر شبکه واژگان دادن امتیاز حسی و subjectivity

V. Khuc, C. Shivade, R. Ramnath, and J. Ramanathan V. Khuc, C. Shivade, R. Ramnath, and J. Ramanathan. “ Towards building large scale distributed systems for twitter sentiment analysis.” 2012 استفاده از twitter محدودیت 140 کاراکتری کار تحلیل حس روی توییتر را مشکل میکند ابزارهای عادی پردازش متن کارا نیستند اسمایلی ها veeerrryyyyyyy goooodddd ایجاد گراف هم رخدادی با استفاده از عبارات bi-gram در چهارچوب Map-Reduce محاسبه فاصله کسینوسی بین کلمات (مشابهت کلمات) انتشار میزان حس از کلمات اولیه به سایر کلمات بر اساس میزان مشابهت

Big sentiment data tracking یکی از مسایل مهم که با حجیم شدن داده ها قابل تامل است پیگردی حسی است احساسات چگونه در طول زمان با وقایع مختلف تغییر می کنند باید به نحوی اجزاء مرتبط با نظرات سازماندهی شوند تا اطلاعات موثر با توجه به کاربر، موضوع، حس و زمان قابل پیگیری باشد.

زمان برگزاری بازی های جام جهانی 2014 Yang Yu, Xiao Wang “World Cup 2014 in the Twitter World: A big data analysis of sentiments in U.S. sports fans’ tweets” 2015 استفاده از twitter زمان برگزاری بازی های جام جهانی 2014 واکنش های حسی طرفداران یک تیم خاص با برد یا باخت تیمشان تغییر میکند نتیجه تئوری وضعیت (disposition)(Zillman1989) اگر تماشاچیان ورزشی بی طرف باشند به احتمال کمتری احساس خوشی یا نا خوشی خواهند داشت

Yang Yu, Xiao Wang “World Cup 2014 in the Twitter World: A big data analysis of sentiments in U.S. sports fans’ tweets” 2015 فرضیه 1: توییت ها با برچسب مکانی U.S. وقتی تیم آمریکا گل میخورد احساس منفی خواهند داشت و وقتی تیم آمریکا گل میزند احساس مثبت خواهند داشت فرضیه 2: توییت ها با برچسب مکانی U.S. در برابر پیروزی یا شکست دیگر تیم ها بی تفاوت خواهند بود.

استفاده از واژه نامه NRC Yang Yu, Xiao Wang “World Cup 2014 in the Twitter World: A big data analysis of sentiments in U.S. sports fans’ tweets” 2015 استفاده از واژه نامه NRC استخراج ويژگي هاي مرتبط با دسته هاي 8 گانه واژه نامه از توييت ها با استفاده از R هر کلمه مرتبط یک واحد به امتیاز دسته مربوطه اضافه میکند.

یک روش مقیاس پذیر برای تلفیق چندین پارامتر موثر در real time E. Cambria, N. Howard, J. Hsu, and A. Hussain. “Sentic blending: Scalable multimodal fusion for the continuous interpretation of semantics and sentics”. 2013 یک روش مقیاس پذیر برای تلفیق چندین پارامتر موثر در real time Multidimensional Vector Space بهره گیری از قدرت ریاضیات برای کار با مسایل زمانی

Ensemble sentiment streams obtained when fusing natural language data and facial expressions, without (a) and with (b) Kalman filtering

ابزارها ابزارهای متن کاوی و یادگیری ماشین RapidMiner R KNIME Gate,Weka ابزارهای متن کاوی و یادگیری ماشین RapidMiner Radoop عملگر sentiWordNet R RHadoop KNIME Gate,Weka …

A Mihanović, H Gabelica, Ž Krstić P inteligencija, Zag, Croatia ”Big data and sentiment analysis using KNIME_ Online reviews vs. social media” 2014