1. همایش داده های عظیم– دی ماه 1393
تحلیل داده‏های عظیم به عنوان سرویس مدلی برای ارائه خدمات تحلیل داده‏های عظیم بر بستر رایانش ابری
همایش داده های عظیم– دی ماه 1393
امیر صحافی – مهدی نظری چراغلو

2. فهرست منابع داده‏های عظیم مسئله تحلیل داده های عظیم
مروری بر رایانش ابری
معماری و سرویس های ابر
تحلیل داده‏های عظیم و رایانش ابری
مدل Hadoop و معماری Map-Reduce
تحلیل داده های عظیم به عنوان سرویس
نتیجه‏گیری
ارائه شده توسط امیر صحافی

3. داده های عظیم
در حال حاضر روزانه حجم بسیار عظیمی داده در حال تولید است.
بیش از 90% داده­های تولید شده و ذخیره شده در دنیای دیجیتال به نوعی غیرساخت­یافته هستند.
ارائه شده توسط امیر صحافی

4. داده های عظیم
1990
1995
2005
2010
2015
9XB XB
بر اساس پیش‏بینی‏ها حجم داده‏ها با نرخ تقریبی 9 برابر در هر 5 سال افزایش می‏یابد.
ارائه شده توسط امیر صحافی

5. ویژگیهای اصلی داده‏های عظیم
Big Data
Volume
Velocity
Variety
سه ویژگی اصلی داده‏های عظیم
حجم بالا
سرعت بالا
تنوع بالا
ارائه شده توسط امیر صحافی

6. مراحل تحلیل داده‏های عظیم
دریافت داده
انتقال داده
ذخیره داده
مدیریت
پردازش و تحلیل
بصری سازی نتایج
ارائه شده توسط امیر صحافی

7. رایانش ابری
تعریف مدل ابر ارائه شده از سوی موسسه ملی فناوری و استاندارد (NIST) آمریکا:
رایانش ابري مدلی است براي فراهم کردن دسترسی آسان بر اساس تقاضاي کاربر از طریق شبکه به مجموعه اي از منابع رایانشی قابل تغییر و پیکربندي (مثل: شبکه ها، سرورها، فضاي ذخیره سازي، برنامه هاي کاربردي و سرویس ها) که این دسترسی بتواند با کمترین نیاز به مدیریت منابع و یا نیاز به دخالت مستقیم فراهم کننده سرویس به سرعت فراهم شده یا آزاد (رها) گردد.
این مدل شامل 4 مدل استقرار، 3 مدل سرویس و 5 خصوصیت لازم می باشد.
ارائه شده توسط امیر صحافی

8. رایانش ابری تعریف ارایه شده موسسه ملی استاندارد و فناوری آمریکا (NIST)
مدل‏های استقرار ابر
ابر خصوصی
ابر گروهی
ابر عمومی
ابر مختلط
ارائه شده توسط امیر صحافی

9. رایانش ابری مدل های استقرار بر اساس NIST ابر خصوصی (private cloud)
تنها برای یک سازمان کار می کند.
ممکن است توسط خود سازمان یا شرکت دیگری مدیریت شود.
می تواند درون یا بیرون سازمان جای گیرد.
ارائه شده توسط امیر صحافی

10. رایانش ابری مدل های استقرار بر اساس NIST ابر گروهی (community cloud)
برای چندین سازمان که نیازهای یکسان دارند و به دنبال بهره مندی از مزایای رایانش ابری با به اشتراک گذاردن زیر ساخت هستند.
یک گروه مشخص که وظیفه ای مشترک ( مثل ماموریت ها، نیازهای امنیتی، سیاست گذاری و ملاحظات قانونی) دارند.
می تواند توسط سازمان های عضو یا یک شرکت دیگر مدیریت شود.
ارائه شده توسط امیر صحافی

11. رایانش ابری مدل های استقرار بر اساس NIST ابر عمومی (public cloud)
بر اساس مدل رایانش همگانی برای عموم موجود است.
مالک آن یک سازمان فروشنده سرویس های ابری است.
بطور کلی ارزانتر هستند.
ارائه شده توسط امیر صحافی

12. رایانش ابری مدل های استقرار بر اساس NIST ابر مختلط (hybrid cloud)
آمیزه ای است از دو ابر یا بیشتر (خصوصی، گروهی و یا عمومی) که هرکدام هویت منحصر به فرد خودشان را نیز حفظ می کنند.
یک ابر مختلط ممکن است دسترسی استاندارد و یا اختصاصی را به داده ها و برنامه ها و همچنین برنامه های قابل حمل داشته باشد.
ارائه شده توسط امیر صحافی

13. لایه‏های ارائه سرویس در معماری رایانش ابری
مدل‏های سرویس ابر
نرم‏افزار به عنوان سرویس
پلتفرم به عنوان سرویس
زیرساخت به عنوان سرویس
Client
Physical Hardware - (server)
Iaas
Management
Services
Fault Tolerance
Paas
Saas
ارائه شده توسط امیر صحافی

14. تحلیل داده‏های عظیم و رایانش ابری
ارائه شده توسط امیر صحافی

15. ساختار Hadoop
ارائه شده توسط امیر صحافی

16. تحلیل داده های عظیم به عنوان سرویس
تحلیل داده های عظیم به عنوان سرویس
ارائه شده توسط امیر صحافی

17. تحلیل داده های عظیم به عنوان سرویس
مدل معماری "تحلیل داده های عظیم به عنوان سرویس" بر اساس لایه های سرویس دهی در ابر
ارائه شده توسط امیر صحافی

18. تحلیل داده های عظیم به عنوان سرویس
نیاز سازمان
استفاده از مدل معماری BAaas
در قالب ابر خصوص
در قالب ابر گروهی
در قالب ابر عمومی
در قالب ابر مختلط
ارائه شده توسط امیر صحافی

19. جمع بندی
امروزه حجم داده ها، با تنوع زیاد و سرعت بالا در حال افزایش است که از آن با عنوان مسئله "داده های عظیم" یاد می‌شود.
از مهمترین دستاوردهای تحلیل داده های عظیم و دانش سودمند مستخرج از آن دانست که سازمان ها توانسته‌اند با یاری گرفتن از آن عرصه جدیدی در فناوری و مدیریت تعریف کنند.
استفاده از سرویس های ابری به منظور ذخیره، پردازش و تحلیل این داده ها می‌تواند به عنوان راهکاری مقرون به صرفه و همچنین به شکل مبتنی بر تقاضا مورد توجه قرار گیرد.
ارائه شده توسط امیر صحافی

20. جمع بندی
می توان یک مدل ابری جامع تحت عنوان تحلیل داده های عظیم به عنوان سرویس در
استفاده از سرویس های ابری به منظور ذخیره، پردازش و تحلیل این داده ها می‌تواند به عنوان راهکاری مقرون به صرفه و همچنین به شکل مبتنی بر تقاضا مورد توجه قرار گیرد.
با توجه به نیازهای خاص برخی از سازمان ها، بهره‌گیری از سرویس یاد شده، با در نظر گیری مدل توضیح داده شده در قالب ابر خصوصی، گروهی و یا عمومی امکانپذیر بوده و همچنین سرویس تحلیل می تواند به شکل یک ابر مختلط پیاده سازی شود.
ارائه شده توسط امیر صحافی

21. منابع
Gantz, J., Reinsel, D.,”Extracting value from chaos”, IDC iView, pp 1–12, 2011.
Philip Chen, C. L., Chun-Yang Zhang., “Dataintensive applications, challenges, techniques and technologies: A survey on Big Data”, Information Sciences, 275, pp , 2014.
Chen, Min, Shiwen Mao, and Yunhao Liu., “Big Data: A Survey”, Mobile Networks and Applications 19(2), pp , 2014.
Armbrust, M., Fox, A., Griffith, R., Joseph, A. D., Katz, R., Konwinski, A., Zaharia, M., “A view of cloud computing”, Communications of the ACM, 53(4), pp , 2010.
Mell, P., & Grance, T., “The NIST definition of cloud computing”, 2011.
Foster, I., Yong, Z., Raicu, I., Lu, S., “Cloud computing and Grid computing 360-degree compared”, IEEE Grid computing environments workshop, pp- 1-10, IEEE, 2008.
Sosinsky, B., “Cloud computing bible”, Vol. 762, John Wiley & Sons, 2010.
Agrawal, D., Das, S., & El Abbadi, A., “Big data and cloud computing: current state and future opportunities”, In Proceedings of the 14th International Conference on Extending Database Technology, pp , ACM, 2011.
Ahuja, S. P., & Moore, B., “State of Big Data Analysis in the Cloud”, Network and Communication Technologies, 2(1), 2013.
Ji, C., Li, Y., Qiu, W., Awada, U., Li, K., “Big data processing in cloud computing environments”, In Proceedings of the th International Symposium on Pervasive Systems, Algorithms and Networks, pp IEEE Computer Society, 2012.
Hashem, I. A. T., Yaqoob, I., Anuar, N. B., Mokhtar, S., Gani, A., & Khan, S. U., “The rise of “big data” on cloud computing: Review and open research issues”, Information Systems, 47, pp , 2015.
Dean, J., Ghemawat, S., “MapReduce: simplified data processing on large clusters”, Communications of the ACM, 51(1), pp , 2008.
ارائه شده توسط امیر صحافی

22. ارائه شده توسط امیر صحافی sahafi@iau.ac.ir