بیگ دیتا چیست و کلان داده چه کاربردی دارد؟ — به زبان ساده

بیگ دیتا چیست ؟

کلان داده‌ (Big Data) به مجموعه‌ای از داده‌ها گفته می‌شود که خود حجم زیادی دارند و در عین حال حجم آن‌ها با گذشت زمان به طور تصاعدی بیش‌تر هم می‌شود. این داده‌ها بسیار حجیم و پیچیده هستند، به طوری که هیچ یک از ابزارهای سنتی مدیریت داده‌ها امکان ذخیره یا پردازش آن‌ها را به طور کارآمد ندارند. به طور کلی، مفهوم کلان داده به داده‌هایی اشاره دارد که تنوع بسیاری دارند و حجم آن‌ها با سرعت زیادی افزایش می‌یابد. دسته‌بندی‌های مختلفی برای انواع کلان داده وجود دارد.

داده‌ها در بیگ دیتا می‌توانند ساختارمند یا بدون ساختار باشند، اما این نوع و حجم داده نیستند که در بیگ دیتا اهمیت دارند، بلکه مسئله مهم، کارهایی است که سازمان‌ها می‌توانند با بیگ دیتا انجام دهند. بیگ دیتا را می‌توان برای به دست آوردن «بینش» (Insight) مورد تجزیه و تحلیل قرار داد. این بینش منجر به بهبود تصمیم‌گیری و ایجاد اعتماد به نفس لازم برای اقدامات راهبردی خواهد شد. پس از پاسخ به این سوال که بیگ دیتا چیست، اکنون در ادامه این بخش از مقاله، انواع بیگ دیتا مورد بررسی قرار می‌گیرند.

انواع بیگ دیتا

با توجه به اهمیت مفاهیم مربوط به انواع کلان داده، در ادامه هر یک از آن‌ها به طور خلاصه و در عین حال به زبان ساده شرح داده می‌شوند.

• داده‌های ساختاریافته (Structured Data): منظور از داده‌های ساختاریافته در بیگ دیتا آن نوع از داده‌ها است که ساختار مناسبی برای کلان داده دارند. به بیان ساده، داده‌های ساختاریافته عموماً به داده‌هایی گفته می‌شود که طول و قالب مشخصی دارند و برای کار در پروژه‌های کلان داده ها مناسب هستند. به عنوان مثال، داده‌های موجود در پایگاه داده (دیتا بیس | DB)، فایل CSV و اکسل (صفحه گسترده | Excel Spreadsheet) همگی داده‌های ساختاریافته به حساب می‌آیند.
• داده‌های نیمه ساختاریافته (Semi-Structured Data): داده‌های نیمه ساختاریافته در بیگ دیتا شکلی از داده‌های ساختاریافته هستند که با ساختار رسمی مدل‌های داده مرتبط با پایگاه داده‌های رابطه‌ای یا سایر اشکال جداول داده‌ها مطابقت ندارند. البته باید توجه کرد که داده‌های نیمه ساختاریافته حاوی برچسب‌ها یا نشانگرهای دیگری برای جداسازی المان‌های معنایی و اجرای سلسله مراتبی رکوردها و فیلدهای داده‌ها است. به عنوان مثال، داده‌های موجود در ایمیل‌ها، فایل‌های گزارش (Log) و اسناد ورد (Word) همگی داده‌های نیمه ساختاریافته هستند.
• داده‌های بدون ساختار (Unstructured Data): در دنیای مدرن بیگ دیتا، داده‌های بدون ساختار بیشترین فراوانی را دارند. منظور از بدون ساختار این است که مجموعه داده‌های مربوطه (معمولاً فایل‌های بزرگی) در قالب پایگاه داده ساختاریافته ذخیره نمی‌شوند. در واقع، با وجود اینکه داده‌های بدون ساختار دارای ساختار داخلی هستند، اما از طریق مدل‌های داده از پیش تعریف نشده‌اند.
• داده‌های بدون ساختار داده‌هایی هستند که کلاً ساختار مرتبطی با آن وجود ندارد. به عنوان مثال، فایل‌های تصویری، فایل‌های صوتی و فایل‌های ویدئویی همگی داده‌های بدون ساختار محسوب می‌شوند.

اکنون در ادامه این بخش مقدماتی از مقاله :بیگ دیتا چیست» به ویژگی‌های اصلی کلان داده پرداخته می‌شود. آشنایی با ویژگی‌های بیگ دیتا برای درک نحوه عملکرد کلان داده و کاربردهای آن یک ضرورت است. به طور عمده، هفت ویژگی اصلی در تجزیه و تحلیل کلان داده اهمیت دارند.

مشخصه‌های بیگ دیتا چه هستند؟

مشخصه های بیگ دیتا (Characteristics) مجموعه‌‌ای از پارامترهای مختلف است که در آن‌ها رویکردهای مختلف تجزیه و تحلیل کلان داده شرح داده می‌شوند. معمولاً مشخصه های بیگ دیتا به شرح زیر هستند.

• سرعت رشد داده‌ها (Velocity): منظور از سرعت، سرعت پردازش داده‌ها است که یکی از فاکتورهای مهم برای اجرای فرآیندهای کلان داده به حساب می‌آید. ویژگی سرعت مواردی مانند میزان تغییر، انفجارهای فعالیت‌ (Activity Bursts) و پیوند مجموعه داده‌های ورودی را شامل می‌شود.
• حجم داده‌ها (Volume): همان‌طور که از نام آن مشخص است، ویژگی حجم به مقدار داده‌های سازمان مد نظر اشاره دارد. داده‌ها در واحدهایی مانند گیگابایت، زتابایت (ZB | Zettabytes) و یوتابایت (Yottabytes | YB) تعیین می‌شوند. با توجه به روندهای (ترندهای) صنعت، به نظر می‌رسد در سال‌های آینده حجم داده‌ها به میزان قابل توجهی افزایش خواهند داشت.
• تنوع داده‌ها (Variety): ویژگی تنوع در بیگ دیتا به وجود انواع مختلف کلان داده اشاره دارد. تنوع یکی از بزرگ‌ترین دغدغه‌هایی است که در صنعت بیگ دیتا وجود دارد. چرا که این ویژگی به طور چشم‌گیری روی عملکرد تأثیر می‌گذارد. در چنین شرایطی لازم است با سازماندهی مناسب، انواع داده‌ها مدیریت شوند.
• ارزش داده‌ها (Value): مزیت‌هایی که به واسطه داده‌های سازمان به دست می‌آیند، همان ویژگی ارزش در کلان داده است. آیا داده‌ها با اهداف شرکت مطابقت دارند؟ آیا این داده‌ها سازمان را در جهت ارتقا و شکوفایی سوق می‌دهند؟ در واقع، ویژ‌گی ارزش یکی از پراهمیت‌ترین ویژگی‌های کلان داده به حساب می‌آید.
• صحت داده‌ها (Veracity): منظور از ویژگی صحت داده‌ها میزان دقت دیتا است. در صورتی که صحت داده‌ها در سطح پایینی باشد، به دقت نتایج لطمه زیادی وارد می‌شود.
• اعتبار داده‌ها (Validity): اعتبار یعنی داده‌هایی که برای هدف دلخواه مورد استفاده قرار می‌گیرند، چه مقدار معتبر و مرتبط هستند.
• نوسان (Volatility): کلان داده به طور مداوم در حال تغییر است. به طوری که ممکن است داده‌هایی که در روز گذشته از یک منبع جمع‌آوری شده‌اند، با آنچه امروز پیدا شده متفاوت باشد. این تغییرپذیری داده‌ها نوسان داده‌ها نامیده می‌شود و بر همگن‌سازی داده‌ها بسیار اثر می‌گذارد.
• نمایش (Visualization): منظور از خصصیه نمایش، نشان دادن بینش‌های تولید شده توسط کلان داده از طریق نمایش‌های بصری مانند نمودارها و گراف‌ها است. ویژگی نمایش اخیراً رایج شده است. چرا که به طور مداوم متخصصان بیگ دیتا باید بینش‌های خود را با مخاطبان غیرفنی به اشتراک بگذارند و این کار با به کارگیری گراف‌ها و نمودارها بسیار تسهیل می‌یابد.

به دلیل اهمیت مشخصه‌های کلان داده و همچنین به منظور درک بهتر مفاهیم مرتبط با آن، هر یک از این مشخصه‌ها به صورت مختصر پرداخته شد. اما چرا استفاده از کلان داده یک علم کاربردی است؟ چه فوایدی در این فناوری ارائه می‌شوند؟ به منظور درک بهتر اهمیت کلان داده، در ادامه مقاله «بیگ دیتا چیست» برخی از مزایای شاخص کلان داده یا همان بیگ دیتا مورد بررسی قرار می‌گیرند.

مزایای بیگ دیتا کدامند؟

در چند سال اخیر، کلان داده به عنوان یکی از حوزه‌های محبوب علم کامپیوتر مورد توجه قرار گرفته است. اما بیگ دیتا چه مزیت‌هایی دارد؟ کدام فواید کلان داده باعث افزایش شهرت آن شده‌اند؟ در این بخش، به برخی از مزیت‌های بیگ دیتا به صورت مختصر پرداخته می‌شود.

• بهبود تجربه مشتری
• مدیریت ریسک
• توسعه محصول و ایجاد نوآوری
• تصمیم‌گیری بهتر و سریع‌تر
• کمپین‌های متمرکز و هدفمند
• شبکه‌های تامین‌کننده گسترده
• تشخیص کلاهبرداری (Fraud Detection)
• کاهش هزینه‌های سازمان
• افزایش بهره‌وری و درآمد

در ادامه، برخی از مزیت‌های پراهمیت بیگ دیتا به طور جامع‌تر و مفصل‌تر مورد بررسی قرار می‌گیرند.

بهبود تجربه مشتری و خدمات

در صورتی که رفتار مشتری به خوبی تجزیه و تحلیل شود، این امکان برای کسب و کارها فراهم می‌شود که تجربه مشتریان خود را در سطوح شخصی‌سازی شده بهبود ببخشند. به بیان ساده، با کمک تحلیل کلان داده‌ها می‌توان تجربه مشتریان را به گونه‌ای سفارشی‌سازی کرد که ‌آن‌ها بهترین تجربه را از آن کسب و کار به دست بیاورند. به این ترتیب، رضایت مشتریان از آن برند خاص افزایش چشم‌گیری خواهد داشت و به دنبال آن، تجربه مشتری مطلوبی برای آن‌ها ایجاد می‌شود.

مدیریت ریسک

به واسطه کلان داده این امکان برای کسب و کارها فراهم می‌شود که ریسک‌های مالی را شناسایی کنند. این موضوع در شرایطی که ریسک‌ها بر تجارت آن‌ها تأثیر منفی بگذارد، بسیار کاربردی و مفید واقع می‌شود. با توجه به اینکه تکامل روزافزون فناوری خطر حملات سایبری را افزایش داده است، لازم است پیش از اینکه جنبه‌های مهم مشاغل از بین بروند، چارچوبی برای شناسایی تهدیدها طراحی شود. با توجه به نکات مذکور، می‌توان استفاده از کلان داده را به عنوان یکی از مطمئن‌ترین روش‌ها برای پیش‌بینی آینده امنیتی کسب و کارها در نظر گرفت.

توسعه محصول و ایجاد نوآوری

با تجزیه و تحلیل کلان داده، این امکان برای کسب و کارها فراهم می‌شود که در مورد تولید یا عدم تولید یک محصول در بازار تصمیم‌گیری کنند. در واقع، بازخوردهایی که از سمت مشتری دریافت می‌شوند، بخشی از کلان داده هستند. این داده‌ها برای ارزیابی عملکرد محصولات کسب و کار مورد استفاده قرار می‌گیرند. به این طریق، در مشاغل تصمیم‌گیری در مورد اینکه که آیا تولید این محصول خاص ادامه یابد یا متوقف شود، انجام خواهد شد. علاوه بر این، بینش‌هایی که به واسطه کلان داده جمع‌آوری می‌شوند، یک راه کلیدی برای رشد و نوآوری هستند و می‌توان از آن‌ها برای تغییر راهبردهای تجاری، تکنیک‌های بازاریابی و سایر موارد استفاده کرد. در حقیقت، این مزیت کلان داده با مثال‌های متعددی توجیه می‌شود. چرا که امروزه کسب و کارها برای فرم‌دهی به راهبردهای تجاری به بینش‌های بازار متکی هستند.

تصمیم‌گیری بهتر و سریع‌تر

زمانی که اطلاعات زیادی در قالب‌های قابل مدیریت و تجزیه-تحلیل‌پذیر برای سازمان‌ها آماده باشند، احتمال کشف الگوها و بینش‌های لازم برای کمک به تصمیم‌گیری‌های عملیاتی و راهبردی، بیش‌تر می‌شوند. به بیان ساده، با استفاده از بینش‌های مبتنی بر داده‌ها، پایه مناسبی برای تصمیم‌گیری آگاهانه و قابل اعتماد ارائه می‌شود. از سوی دیگر، سرعت بالای ابزارهایی همچون هادوپ (Hadoop) به کسب و کارها این امکان را می‌دهد که به راحتی اعمالی مانند شناسایی منابع جدید و تجزیه و تحلیل داده‌ها را انجام دهند و بر اساس اطلاعات دریافتی، به سرعت تصمیم‌گیری کنند.

کمپین‌های متمرکز و هدفمند

می توان با سازگارسازی کلان داده توسط پلتفرم‌های خاصی، اقلام متناسب با نیازهای مشتری ارائه کرد. در واقع، به جای هدر دادن پول در کمپین‌های تبلیغاتی ناموفق، کلان داده به عنوان یک ابزار کمکی برای ارائه تجزیه و تحلیل‌ جامع از روندهای مشتریان در کسب و کارها استفاده می‌شود. در این رویکرد، اعمالی مانند نظارت بر ارزیابی خریدهای آنلاین و معاملات نقطه فروش وجود دارند. این بینش‌ها به نوبه خود شرکت‌ها را قادر می‌سازند تا کمپین‌های پردرآمد، مشخص و هدفمندی را ایجاد کنند. به طوری که با کمک این کمپین‌ها، انتظارات مشتریان برآورده می‌شوند و وفاداری بیشتری نسبت به نام تجاری مربوطه به وجود می‌آید.

تشخیص کلاهبرداری

یکی دیگر از کاربردهای رایج تجزیه و تحلیل کلان داده – به ویژه در صنعت خدمات مالی – تشخیص کلاهبرداری است. در واقع، آن دسته از سیستم‌های تجزیه و تحلیل کلان داده که بر یادگیری ماشین متکی هستند، در تشخیص ناهنجاری (Anomaly Detection) عملکرد فوق‌العاده‌ای دارند. به واسطه این قابلیت‌ها، امکان تشخیص کارت‌های اعتباری سرقت شده یا خریدهای متقلبانه در بانک‌ها و شرکت‌های ارائه دهنده کارت اعتباری وجود دارد. در بیشتر مواقع، قبل از اینکه صاحب کارت حتی از وجود مشکلات با خبر شود، این تمهیدات برای رفع آن‌ها انجام می‌شوند.

معایب بیگ دیتا چه هستند؟

با وجود فواید متعدد کلان داده در صنعت‌های مختلف به ویژه دیجیتال مارکتینگ، این حوزه کاستی‌هایی نیز دارد. در ادامه این بخش از مقاله «بیگ دیتا چیست» به کاستی‌های کلان داده اشاره می‌شود.

• کمبود داده‌های با کیفیت
• تغییرات بسیار سریع
• نیاز به سخت‌افزار مخصوص
• مشکلات مربوط به ادغام با سیستم‌های قدیمی
• خطرات امنیتی

اهمیت کلان داده‌ها در جهان کنونی به صورت تصاعدی در حال افزایش است. به همین دلیل آشنایی با مفاهیم مربوطه، از جمله چالش‌های این حوزه، یک ضرورت به حساب می‌آید. در ادامه این بخش، برخی از چالش‌های کلان داده شرح داده می‌شوند.

کمبود داده‌های با کیفیت

بر اساس نظرسنجی Syncsort، اولین چالش کار با بیگ دیتا، کیفیت داده‌ها و نحوه بررسی آن‌ها است. پیش از آن که دانشمندان علم داده بتوانند به تجزیه و تحلیل داده‌ها با استفاده از بیگ دیتا بپردازند، لازم است آن‌ها از دقت، میزان ارتباط داده‌ها و مناسب بودن قالب‌ آن‌ها اطمینان حاصل کنند. با وجود اینکه این امر به میزان قابل توجهی روند گزارش‌دهی را کند می‌کند، اما بررسی مسائل مربوط به کیفیت داده کاملاً ضروری است. در صورتی که کیفیت داده‌ها مورد بررسی قرار نگیرد، ممکن است بینش‌های حاصل از تجزیه و تحلیل آن داده‌های خاص، بی‌ارزش تلقی شوند یا از آن بدتر، حتی عملی کردن آن‌ها ضررهای مختلفی را برای سازمان مربوطه به دنبال داشته باشد.

مشکلات مربوط به ادغام با سیستم‌های قدیمی

اغلب شرکت‌هایی که سال‌ها در حال فعالیت هستند، داده‌های شرکت‌‌های خود را در انواع سیستم‌ها و اپلیکیشن‌های مختلف جمع‌آوری کرده‌اند. به همین دلیل ممکن است یکپارچه‌سازی همه آن منابع داده متفاوت و انتقال داده‌ها در جایی که باید باشند، به افزایش زمان و هزینه کار با کلان داده منجر شوند.

نیاز به سخت‌افزار مخصوص

یکی دیگر از مسائل مهم برای سازمان‌ها، زیرساخت فناوری اطلاعات است. در واقع، نیاز به سخت‌افزار مناسب برای پشتیبانی از تجزیه و تحلیل کلان داده به یکی از دغدغه‌ها اساسی چنین سازمان‌هایی تبدیل شده است. چرا که فضای ذخیره‌سازی برای نگهداری داده‌ها، پهنای باند (Bandwidth) شبکه برای انتقال داده‌ها به سیستم‌های تجزیه و تحلیل و در نهایت محاسبه منابع برای انجام این تجزیه و تحلیل‌ها همگی هزینه‌های خرید و نگهداری فراوانی دارند. در برخی از شرکت‌ها این مشکلات با استفاده از تجزیه و تحلیل مبتنی بر Cloud (فضای ابری) جبران می‌شوند. اما معمولاً همه مشکلات مربوط به زیرساخت به طور کامل برطرف نمی‌شوند.

با وجود اینکه به کارگیری کلان داده در صنعت‌های مختلف با چالش همراه است، اما در دنیای فناوری، استفاده از بیگ دیتا به مراتب محاسن بیشتری را به دنبال دارد. ممکن است این سوال پیش بیاید که داده‌ها چگونه تولید می‌شوند؟ در بخش بعدی از مقاله «بیگ دیتا چیست» به این سوال پاسخ داده می‌شود.

 انواع تحلیل کلان داده

تجزیه و تحلیل کلان داده‌ها به چهار نوع طبقه‌بندی می‌شوند که این بخش از مقاله به آن‌ها پرداخته می‌شود.

• تجزیه و تحلیل توصیفی (Descriptive)
• تجزیه و تحلیل تشخیصی (Diagnostic)
• تجزیه و تحلیل پیش‌بینی کننده (Predictive)
• تجزیه و تحلیل تجویزی (Prescriptive)

اکنون در ادامه این بخش از مقاله «بیگ دیتا چیست» هر یک از این روش‌های تحلیل کلان داده و جزییات مربوط آن‌ها شرح داده می‌شوند.

تجزیه و تحلیل توصیفی

تجزیه و تحلیل توصیفی یک روش مفید برای کشف الگوها در بخش خاصی از مجموعه مشتریان است. علاوه بر اینکه با استفاده از روش تحلیل توصیفی امکان ساده‌سازی داده‌ها وجود دارد، می‌توان داده‌های گذشته را نیز به صورت خواندنی خلاصه کرد. در تجزیه و تحلیل توصیفی در مورد آنچه در گذشته اتفاق افتاده و همچنین، روندها جزئیات بیش‌تری ارائه می‌شود و به عنوان یک ابزار کمکی برای ایجاد گزارش‌هایی مانند گزارش درآمد یک شرکت، سود، فروش و سایر موارد به کار می‌رود. آمار خلاصه (Summary Statistics)، خوشه‌بندی (Clustering) و قواعد وابستگی (Association Rule) همگی جز روش‌های تجزیه و تحلیل توصیفی به حساب می‌آیند و به منظور تحلیل سبد بازار مورد استفاده قرار می‌گیرند. به واسطه این روش تحلیلی، شرکت داو کمیکال (Dow Chemical) از داده‌های گذشته خود به منظور افزایش بهره‌وری امکانات در دفاتر و آزمایشگاه‌ها استفاده می‌کند.

تجزیه و تحلیل تشخیصی

همان‌طور که از نام آن پیداست، «تجزیه و تحلیل تشخیصی» (Diagnostic) به منظور تشخیص مشکل به کار می‌رود. در واقع، در تجزیه و تحلیل تشخیصی یک بینش دقیق و عمیق در مورد علت اصلی مشکل ارائه می‌شود. در صورتی که دانشمندان داده (Data Scientist) بخواهند دلایل پنهان و پشت پرده یک اتفاق خاص را درک کنند، از روش مذکور استفاده می‌کنند. روش‌هایی مانند تکنیک «شکستن مسئله» (Drill Down)، داده کاوی، بازیابی داده‌ها (Data Recovery)، «تحلیل رویگردانی دلیل» (Churn Reason Analysis) و تجزیه و تحلیل نمرات سلامت مشتری (Health Score Analysis) همگی نمونه‌هایی از تجزیه و تحلیل تشخیصی به حساب می‌آیند.

از لحاظ تجاری، تجزیه و تحلیل تشخیصی برای شرایطی کاربرد دارد که تحقیق در مورد دلایل پیشرونده شاخص‌های رویگردان و روندهای مورد استفاده در ارتباط با وفادارترین مشتریان شرکت مربوطه لازم باشد. یکی از موارد استفاده از روش تجزیه و تحلیل تشخیصی، به کارگیری آن در شرکت تجارت الکترونیک به حساب می‌آید. مفروض است در چنین شرکتی، با وجود اینکه مشتریان محصولات مختلفی را به سبد خرید خود اضافه می‌کنند، اما فروش شرکت کاهش یافته است. در این صورت، ممکن است دلایل احتمالی این مشکل این موضوع باشد: فرم به درستی بارگذاری نشده، هزینه حمل و نقل زیاد است و روش‌های پرداختی کافی در دسترس نیست. به منظور تشخیص و حل مشکل در این شرکت، می‌توان ابتدا با کمک روش تجزیه و تحلیل تشخیصی علت‌ها را ارائه و سپس روی آن کار کرد.

تجزیه و تحلیل پیش‌بینی کننده

«تجزیه و تحلیل پیش‌بینی کننده» (Predictive) نوعی از تحلیل است که به پیش‌بینی حوادث آینده مربوط می‌شود. ممکن است این حوادث آینده مواردی مانند روندهای بازار (Market Trends)، روندهای مصرف‌کننده و بسیاری دیگر از رویدادهای مرتبط با بازار باشند. این نوع از تجزیه و تحلیل با به کارگیری داده‌های گذشته و زمان حال برای پیش‌بینی وقایع به کار می‌رود. تجزیه و تحلیل پیش‌بینی کننده یکی از رایج‌ترین نوع تحلیل در میان کسب و کارهای مختلف به حساب می‌آید. علاوه بر کاربرد تجزیه و تحلیل پیش‌بینی کننده برای ارائه‌دهندگان خدمات، این روش تحلیلی برای مصرف‌کنندگان نیز مورد استفاده قرار می‌گیرد.

در این روش پس از پیگیری فعالیت‌های گذشته و مبنا قرار دادن آن‌ها، کارهایی پیش‌بینی می‌شوند که باید در آینده به کار بروند. باید توجه کرد که هدف در روش تجزیه و تحلیل پیش‌بینی کننده این نیست که با به کارگیری آن، اتفاقات آینده ارائه شوند، چرا که این روش این امکان را ندارد. در حقیقت، هیچ یک از انواع راه‌های تحلیل کلان داده امکان پیش‌بینی رویدادهای آینده را ندارند. بنابراین، در روش تجزیه و تحلیل پیش‌بینی کننده فقط امکان ارائه «پیش‌بینی‌‌هایی» از اتفاقات آینده وجود دارد، چون ماهیت این روش بر اساس احتمالات بنا شده است.

در روش تجزیه و تحلیل پیش‌بینی کننده، از مدل‌های داده کاوی، هوش مصنوعی (Artificial intelligence) و یادگیری ماشین به منظور تحلیل داده‌های جاری و پیش‌بینی اتفاقات احتمالی در سناریوهای خاص استفاده می‌شوند. به عنوان مثال، در شرکت پی‌پال (PayPal) باید مراحل لازم برای حفاظت از معاملات کلاهبرداری مشتری تعیین شوند. برای رسیدگی به این موضوع، لازم است همه داده‌های مربوط به پرداخت‌های گذشته و همچنین داده‌های رفتاری کاربران این شرکت، برای پیش‌بینی فعالیت‌های کلاهبرداری مورد بررسی قرار بگیرند.

تجزیه و تحلیل تجویزی

تجزیه و تحلیل تجویزی (Prescriptive) یکی از روش‌های ارزشمند در حوزه کلان داده به حساب می‌آید. البته در عمل از این روش به اندازه لازم استفاده نمی‌شود. تجزیه و تحلیل تجویزی مرحله بعدی در تجزیه و تحلیل پیش‌بینی کننده است. در این روش، ابتدا چندین اقدام احتمالی مورد بررسی قرار می‌گیرند، سپس بر اساس نتایج تحلیل‌های تجویزی و پیش‌بینی کننده مربوط به یک مجموعه داده‌های معین، پیشنهادها ارائه می‌شوند. در حقیقت، تجزیه و تحلیل تجویزی از ادغام داده‌ها و قوانین تجاری مختلف تشکیل می‌شود و در آن‌، این امکان وجود دارد که داده‌‌ها هم به صورت داخلی یعنی از طریق ورودی‌های سازمانی و هم به صورت خارجی یعنی از طریق بینش رسانه‌های اجتماعی موجود باشند.

علاوه بر این، تجزیه و تحلیل تجویزی به مشاغل این امکان را می‌دهد که بهترین راه حل ممکن را برای یک مشکل تعیین کنند. در صورتی که این روش با تجزیه و تحلیل پیش‌بینی کننده ترکیب شود، مزیت دستکاری یک رویداد آینده مانند کاهش خطر آینده نیز به آن اضافه می‌شود. یکی از مواردی که در آن تحلیل تجویزی استفاده می‌شود، مرکز خدمات درمانی Aurora است که با کاهش ۱۰ درصدی نرخ بازگشت مجدد، به ۶ میلیون دلار صرفه‌جویی رسیده است. تجزیه و تحلیل تجویزی در صنعت درمان و بهداشت کاربردهای متعددی دارد که می‌توان از آن برای افزایش روند توسعه دارو، یافتن بیماران مناسب برای آزمایشات بالینی و سایر موارد استفاده کرد. در این بخش از مقاله «بیگ دیتا چیست» انواع روش‌های تحلیل کلان داده بررسی شدند، حال در ادامه مدل مرسوم مربوط به بیگ دیتا معرفی می‌شود.

مدل ۳V بیگ دیتا چیست ؟

مشخصه‌های مدل ۳V : حجم

«حجم» (Volume) یکی از ویژگی‌های بارز کلان داده به حساب می‌آید و گاهی ممکن است حجم این داده‌ها به ارتفاعات بی‌سابقه‌ای برسند. با استناد به برآوردهای مختلف، به نظر می‌رسد روزانه حدود ۲/۵ کوینتیلیون (Quintillion) بایت داده ایجاد می‌شود. لازم به ذکر است منظور از «کوینتیلیون» عدد ۱۰ به توان ۱۸ است که عدد بسیار بزرگی محسوب می‌شود. بر اساس این برآورد، در سال‌های اخیر، داده‌‌ها نسبت سال ۱۳۸۴ ( ۲۰۰۵ میلادی) با افزایش ۳۰۰ برابری همراه بوده است. به این ترتیب، داشتن داده‌ها با حجم ترابایت یا حتی پتابایت در دستگاه‌های ذخیره‌سازی و سرورهای برخی از شرکت‌ها، امری طبیعی محسوب می‌شود. در حقیقت، در حالی که پیشرفت شرکت با استفاده از داده‌ها پیگیری می‌شود، این داده‌ها به عنوان یکی از فاکتورهای اساسی و تعیین‌کننده برای ساخت آینده شرکت و همچنین اقدامات مختلف آن به حساب می‌آیند.

مشخصه‌های مدل ۳V : سرعت

در سال‌های اخیر، رشد و افزایش داده‌ها و به دنبال آن، نقش برجسته و مهم داده‌ها در زندگی بشر منجر به تغییر دیدگاه‌ها نسبت به آن شده است. در واقع، همزمان با تغییر نحوه جمع‌آوری داده‌ها، این امکان فراهم شد که از دیتا به عنوان یک ابزار کمکی استفاده شود. به طوری که بشر و زندگی فردی تا حد نسبتاً زیادی بر داده‌ها متکی می‌شود. در اصل در مدل ۳V بیگ دیتا، مفهوم سرعت (Velocity) برای اندازه‌گیری میزان سرعت ورود داده‌ها کاربرد دارد. برخی از داده‌ها به صورت بلادرنگ (Real-time) و برخی به صورت دسته‌ای و متناسب وارد خواهند شد. با توجه به اینکه سرعت انتقال داده‌ها در هر پلتفرمی تفاوت دارد، مهم است که بدون داشتن همه حقایق و ارقام، اعمالی همچون تعمیم، کاستن یا نتیجه‌گیری سریع انجام نشوند.

مشخصه‌های مدل ۳V : تنوع

در گذشته داده‌ها یک بار از جایی جمع‌آوری و در یک قالب خاص ارائه می‌شدند. این داده‌ها به شکل فایل‌های پایگاه داده یعنی فایل Excel، اکسس (Access) و CSV قابل دریافت بودند. اکنون داده‌ها به شکل‌های غیرسنتی مانند ویدئو، متن، فایل pdf و گرافیک در شبکه‌‌های اجتماعی و همچنین، از طریق فناوری‌هایی مانند دستگاه‌های پوشیدنی (Wearable Devices) ارائه می‌شوند. با وجود اینکه داده‌ها یا همان دیتا با چنین قالب‌هایی بسیار کاربردی و مفید به حساب می‌آیند، اما برای رمزگشایی و مدیریت داده‌های ورودی به مهارت‌های تحلیلی بیشتری نیاز است و به دنبال آن، کار بیشتری ایجاد می‌شود. به بیان ساده، مفهوم «تنوع» (Variety) به انواع چارچوب‌هایی اشاره دارد که داده‌ها در قالب آن‌ها شکل می‌گیرند. به عنوان مثال، تصاویر، ویدئوها، فایل‌های صوتی، ایمیل‌ها، اسناد، کتاب‌ها، ارائه‌ها و حتی توئیت‌های اپلیکیشن تویتتر همگی جز داده‌ها هستند.

مبحث کلان داده بسیار بیشتر از عبارت «داده‌های زیاد» است. چرا که به واسطه بیگ دیتا امکان ارائه فرصت‌های مختلفی برای استفاده از داده‌های موجود و همچنین داده‌های جدید وجود دارد. علاوه بر این، با بیگ دیتا می‌توان برای به دست آوردن داده‌های آینده راه‌های جدیدی را کشف کرد. به این ترتیب، بیگ دیتا برای تغییر برخی از عوامل تجاری کاربرد دارد و باعث می‌شود این تغییرات با سرعت بهتری انجام شوند. در ادامه کاربردهای کلان داده یا همان بیگ دیتا شرح داده می‌شوند. اما پیش از آن، در بخش بعدی از مقاله «بیگ دیتا چیست»، برخی از دوره‌های شاخص مجموعه آموزشی داده کاوی و یادگیری ماشین فرادرس معرفی خواهند شد.

معرفی فیلم های آموزش داده کاوی و یادگیری ماشین فرادرس

پیش از این، در بخش‌های پیشین مقاله :بیگ دیتا چیست» برخی از مفاهیم پایه و اساسی مربوط به بیگ دیتا معرفی شدند. اکنون در بخش بعدی، به کاربردهای کلان داده اشاره می‌شود.

کاربرد بیگ دیتا چیست ؟

همان‌طور که پیش‌تر در این مقاله به آن پرداخته شد، کلان داده یکی از حوزه‌های کارآمد علم کامپیوتر است. از این رو، لازم است برای درک هر چه بهتر کلان داده و مفاهیم مرتبط به آن، لازم است به کاربردهای کلان داده نیز توجه شود. این بخش از مقاله «بیگ دیتا چیست» به شرح کاربردهای کلان داده اختصاص داده می‌شود.

• بانکداری و اوراق بهادار
• دیجیتال مارکتینگ
• ارتباطات، رسانه و سرگرمی
• حوزه بهداشت و سلامت
• سیستم‌های آموزشی
• تولید و منابع طبیعی
• دولت
• خدمات بیمه
• خرده‌ فروشی و عمده فروشی
• حمل و نقل
• انرژی و خدمات

با توجه به اهمیت بیگ دیتا، در ادامه این بخش از مقاله، برخی از کاربردهای کلان داده به طور مفصل‌تر و جامع‌تر شرح داده می‌شوند.

بانکداری و اوراق بهادار

کلان داده در کمیسیون بورس اوراق بهادار (Securities Exchange Commission | SEC) به منظور نظارت بر فعالیت بازار مالی به کار می‌رود. در حال حاضر، در این سازمان برای تشخیص فعالیت‌های تجاری غیرقانونی در بازارهای مالی روش‌هایی مانند تجزیه و تحلیل شبکه و پردازشگرهای زبان طبیعی مورد استفاده قرار می‌گیرند. با کمک کلان داده، این امکان برای معامله‌گران خرده فروشی، بانک‌های بزرگ، صندوق پوشش ریسک (Hedge fund) فراهم می‌شود که اعمالی همچون تجزیه و تحلیل تجارت مورد استفاده در معاملات با فرکانس بالا، تجزیه و تحلیل تصمیم‌گیری قبل از تجارت، سنجش احساسات، تجزیه و تحلیل پیش‌بینی کننده و سایر موارد مهم را انجام دهند. به علاوه، این صنعت برای تجزیه و تحلیل ریسک به میزان زیادی به بیگ دیتا متکی است. مواردی مانند مبارزه با پولشویی، مدیریت ریسک شرکت‌های تقاضا، بخش «مشتری خود را بشناسید» و کاهش کلاهبرداری همگی از کاربردهای کلان داده در سیستم بانکداری و اوراق بهادار هستند. برخی از ارائه‌دهندگان کلان داده مربوط به این صنعت شامل ۱۰۱۰data ،Quartet FS ،Nice Actimize، نرم‌افزار Panopticon و سیستم‌های Streambase می‌شوند.

سیستم‌های آموزشی

کلان داده به شکل قابل توجهی در سیستم آموزشی به خصوص تحصیلات تکمیلی استفاده می‌شود. به عنوان مثال، در دانشگاهی مانند تاسمانیا (Tasmania) که یک دانشگاه استرالیایی با بیش از ۲۶۰۰۰ دانشجو است، از کلان داده‌ به بهترین شکل ممکن استفاده می‌شود. این دانشگاه یک سیستم یادگیری و مدیریت مستقر شده دارد و در آن مواردی مانند ورود دانشجو به سیستم، میزان زمان صرف شده در صفحات مختلف سیستم و همچنین پیشرفت کلی دانشجویان پیگیری و بررسی می‌شوند. علاوه بر این، یکی دیگر از کاربردهای پراهمیت کلان داده در سیستم آموزش و پرورش، سنجش میزان اثربخشی معلم‌ها است. به واسطه این رویکرد، هم دانشجو و هم مدرس تجربه مطلوبی به دست می‌آورند. سنجش عملکرد مدرسین بر اساس معیارهایی همچون تعداد دانشجویان، موضوع درس، جمعیت‌شناسی دانشجویان، آرزوها و اهداف دانشجویان، طبقه‌بندی رفتاری و چندین متغیر دیگر تعیین می‌شوند. در سطوح دولتی، دفتر فناوری آموزشی در وزارت آموزش و پرورش ایالات متحده، کلان داده به منظور توسعه تجزیه و تحلیل در مورد دانشجویان و آموزش آن‌ها کاربرد دارد. در حقیقت، در این سازمان با به کارگیری کلان داده، دانشجویان هنگام استفاده از دوره‌های آنلاین راهنمایی می‌شوند. برای تشخیص میزان خستگی و گمراهی دانشجویان، الگوهای مربوط به کلیک‌های آن‌ها در صفحات مورد بررسی قرار می‌گیرند و به دنبال آن دوره‌های متناسب با مهارت‌های آن‌ها ارائه می‌شوند. «آموزش Knewton و Carnegie» و «Naviance» از جمله ارائه‌دهندگان کلان داده پیشتاز در این صنعت هستند.

حمل و نقل

در سال‌های اخیر، حجم عظیمی از داده‌های شبکه‌های اجتماعی مبتنی بر مکان (Location) و داده‌های سریع از مخابرات، بر رفتار مسافران تأثیر گذاشته است. متأسفانه، تحقیقات برای درک رفتار سفر با سرعت زیادی پیش نمی‌رود. به طوری که در بیش‌تر نقاط، هنوز مدل‌های تقاضای حمل و نقل بر اساس ساختارهای رسانه‌های اجتماعی جدید ضعیف عمل می‌کنند. با وجود چالش‌های مختلف در این صنعت، همچنان کلان داده برای سازمان‌های خصوصی و دولت کاربردهای متعددی دارد. مواردی مانند کنترل ترافیک، برنامه‌ریزی مسیر، سیستم‌های حمل و نقل هوشمند، مدیریت ازدحام (با پیش‌بینی شرایط ترافیک)، مدیریت درآمد، پیشرفت‌های مربوط به فناوری، مزیت رقابتی (با تجمیع محموله‌ها و بهینه‌سازی جابجایی بار)، برنامه‌ریزی مسیر برای صرفه‌جویی در سوخت و زمان و هماهنگی سفر در گردشگری همگی کاربردهای کلان داده در حمل و نقل هستند.

در این بخش از مقاله ابتدا کاربردهای مختلف کلان داده معرفی شدند و در ادامه برخی از این کاربردها به طور مفصل‌تری مورد بررسی قرار گرفتند. به دلیل اهمیت چشمگیر دیجیتال مارکتینگ در جهان کنونی، لازم است کاربردهای کلان داده در دیجیتال مارکتینگ به طور خاص بررسی شوند. از این رو، در بخش بعدی از مقاله «بیگ دیتا چیست» به مفاهیم مهم مربوط به کاربرد کلان داده در دیجیتال مارکتینگ پرداخته می‌شود.

کاربرد بیگ دیتا در دیجیتال مارکتینگ

کلان داده یکی از مباحث کاربردی در حوزه دیجیتال مارکتینگ محسوب می‌شود و کاربردهای مختلفی دارد. به منظور درک بهتر فواید استفاده از کلان داده در حوزه دیجیتال مارکتینگ، در این بخش از مقاله «بیگ دیتا چیست»، ابتدا کاربردهای کلان داده در دیجیتال مارکتینگ معرفی و پس از آن، هر یک از آن‌ها به طور اختصاصی شرح داده می‌شوند.

• شناخت مشتریان و آشنایی با نیازهای آن‌ها
• تقسیم‌بندی مخاطبین (Audience segmentation)
• عقیده کاوی (Sentiment analysis)
• تجزیه و تحلیل پیش‌بینی کننده و تجویزی (Predictive And Prescriptive Analysis)
• بازاریابی هدفمند (Targeted Marketing)
• سنجش نتایج
• تجزیه و تحلیل رقابتی (Competitive Analysis)
• رشد فروش و افزایش سودآوری بالقوه

اکنون هر یک از کاربردهای کلان داده در دیجیتال مارکتینگ به طور جامع و در عین حال به زبان ساده مورد بررسی قرار می‌گیرد.

• شناخت مشتریان و تقسیم‌بندی مخاطبین (Audience segmentation): بیگ دیتا این امکان را به بازاریابان می‌دهد که جوانب مختلف مربوط به معیارهای رفتاری مشتریان مثل نحوه استفاده آن‌ها از محصولات و خدمات و همچنین، عوامل اجتماعی و جمعیت‌شناختی را جمع‌آوری، کشف و تجزیه و تحلیل کنند. به این ترتیب، به واسطه اطلاعات یافت‌شده شخصیت مشتریان و به طور دقیق‌تر، علایق آن‌ها تعیین می‌شوند و به دنبال آن، تقویت و بهینه‌سازی پیام‌های بازاریابی تسهیل پیدا می‌کنند.
• عقیده کاوی (Sentiment analysis): بازاریابان می‌توانند با تجزیه و تحلیل پست‌های رسانه‌های اجتماعی، بازنگری‌ها (Reviews) و کوئری‌های جستجو، احساس مشتریان را نسبت به نام تجاری خود بهتر درک کنند.
• تجزیه و تحلیل پیش‌بینی کننده و تجویزی (Predictive And Prescriptive Analysis): با همکاری بازاریابان با «زنجیره تامین» (Supply Chain) این امکان فراهم می‌شود که با به کارگیری کلان داده‌ها، میزان تقاضای محصولات پیش‌بینی شود و به این ترتیب، محصولات مناسب‌تری تولید و ارائه شوند.
• بازاریابی هدفمند (Targeted Marketing): تجزیه و تحلیل کلان داده برای اعمالی مانند پیشنهاد محصول، تبلیغات در رسانه‌های اجتماعی و «کمپین‌های قطره‌ای ایمیل» (Email Drip Campaigns) کاربرد دارد. به طوری که با کمک بیگ دیتا محتوای مناسب‌تری برای مشتریان ارائه می‌شود.
• سنجش نتایج: با کمک کلان داده، امکان سنجش عملکرد کمپین‌ها به منظور بهینه‌سازی بودجه به صورت بلادرنگ وجود دارد.
• درک روند بازار: با تجزیه و تحلیل داده‌های مربوط به گذشته، می‌توان از روندهای (Trendهای) بازار بهره‌وری کرد. این کار با استفاده از تجزیه و تحلیل پیش‌بینی کننده و با هدف پیش‌بینی تقاضا و اقدام تجزیه و تحلیل تجویزی آیتم‌ها انجام می‌شود.
• تجزیه و تحلیل رقابتی (Competitive Analysis): می‌توان با کمک کلان داده در مورد کمپین‌های بازاریابی رقیب خود بینش مناسبی کسب کرد و با به کارگیری این اطلاعات، نحوه عملکردشان و بایدها و نبایدهای آن‌ها را مورد بررسی قرار داد.
• رشد فروش و افزایش سودآوری بالقوه: عوامل فوق همگی می‌توانند منجر به افزایش فروش و همچنین سودآوری کسب و کارهای مختلف شوند. در حقیقت، استفاده از کلان داده برای بازاریابی هدفمند می‌تواند به کاهش هزینه‌های تبلیغات، کوتاه شدن زنجیره تامین برای تحویل به موقع و به انجام کمپین‌های بازاریابی موفق‌تر کمک کند. به این ترتیب، هر یک از عوامل مذکور به طور اختصاصی می‌توانند به رشد بالقوه کسب و کار منجر شوند. با وجود اینکه تا این بخش از این مطلب، میزان اهمیت بیگ دیتا در حوزه‌های مختلف واضح شده است، اما برای تاکید بیشتر روی اهمیت کلان داده در دنیای فناوری و زندگی بشر، در ادامه علت اهمیت بیگ دیتا از دیدگاه متفاوتی بررسی می‌شود.

چرا بیگ دیتا اهمیت دارد؟

تجزیه و تحلیل کلان داده در عمل انقلاب بزرگی در زمینه فناوری اطلاعات ایجاد کرده است. به طور سالانه، عملکرد شرکت‌های متعددی با به کارگیری تجزیه و تحلیل داده‌ها پیشرفت می‌کنند. همان‌طور که پیش‌تر در این مقاله به آن پرداخته شد، بیگ دیتا دارای سه ویژگی کلیدی یعنی حجم، سرعت و تنوع بالا است و تکنیک‌های تحلیلی مختلفی مانند «یادگیری ماشین» (Machine Learning)، «داده کاوی» (Data Mining) و «پردازش زبان‌‌ طبیعی» (NLP | Natural Language Processing) و آمار در آن استفاده می‌شوند. با کمک کلان داده می‌توان عملیات متعددی را در یک پلتفرم واحد انجام داد. به عنوان مثال، امکان ذخیره‌سازی ترابایت‌هایی از داده‌ها، پیش پردازش و همچنین تصویرسازی آن‌ها با کمک چندین ابزار بیگ دیتا وجود دارد. به منظور تجزیه و تحلیل داده‌ها برای کسب و کار، باید اعمالی مانند استخراج داده (Data Extraction)، آماده‌سازی داده و ترکیب آن‌ها انجام شوند. امروزه شرکت‌های چندملیتی و در سطح سازمانی (Enterprise) از این روش‌ها به گونه‌های مختلف استفاده می‌کنند.

تجزیه و تحلیل کلان داده به سازمان‌ها این امکان را می‌دهد تا با داده‌های خود به طور موثر و کارآمد کار کنند و این دیتا را به منظور شناسایی فرصت‌های جدید به کار ببرند. تکنیک‌ها و الگوریتم‌های متفاوتی برای پیش‌بینی داده‌ها وجود دارند. برای موفقیت آینده شرکت می‌توان از استراتژی‌های تجاری متعددی استفاده کرد و این موضوع، منجر به ارائه حرکت‌های تجاری دقیق‌تر، عملیات کارآمدتر و سودآوری بیشتری می‌شود. حال در ادامه این بخش از مقاله «بیگ دیتا چیست»، سه دلیل عمده اهمیت کلان داده شرح داده می‌شوند.

• کاهش هزینه: فناوری‌های کلان داده مانند هادوپ (Hadoop) و تجزیه و تحلیل مبتنی بر فضای ابری (Cloud-based Analytics) مزایای قابل توجهی را هنگام ذخیره‌سازی داده‌های با حجم زیاد به ارمغان می‌آورند.
• تصمیم‌گیری سریع‌تر و بهتر: با کمک سرعت و تجزیه و تحلیل درون‌حافظه‌ای Hadoop، به همراه توانایی تجزیه و تحلیل منابع جدید داده‌ها، امکان تجزیه و تحلیل سریع اطلاعات و تصمیم‌گیری بر اساس آموخته‌ها برای کسب و کارهای مختلف ایجاد می‌شود.
• محصولات و خدمات جدید: با وجود قابلیت سنجش نیازها و رضایت مشتریان از طریق تجزیه و تحلیل، قدرت ارائه آنچه مشتریان می‌خواهند به دست می‌آید. با توجه به محبوبیت کلان داده‌ها در زمان حال، این سوال پیش می‌آید که آینده بیگ دیتا به چه صورت است؟ آیا بیگ دیتا در سال‌های آتی نیز کاربردی و تعیین‌کننده خواهد بود؟ در ادامه چنین سوالاتی پاسخ داده می‌شوند.

آینده بیگ دیتا چیست ؟

معمولاً کلان داده همراه با حوزه‌های محبوب دیگر از علم کامپیوتر مثل یادگیری ماشین، علم داده (Data Science)، هوش مصنوعی (AI)، «یادگیری عمیق» (Deep Learning) و سایر موارد مرتبط است. با توجه به اینکه یکی از نیازمندی‌‌های اساسی این زمینه‌ها داده‌ها هستند، کلان داده به طور دائمی نقش بسزایی در بهبود مدل‌های فعلی علم کامپیوتر خواهد داشت و به عنوان یک ابزار کمکی برای پیشرفت در تحقیقات به کار می‌رود. به عنوان مثال، هر خودروی تسلا (Tesla) که قابلیت رانندگی به صورت خودکار (Self-Driving) را دارد، در آموزش مدل هوش مصنوعی مربوط به تسلا و بهبود مداوم آن نقش دارد. به طوری که هرگاه اشتباهی رخ می‌دهد، عملکرد مدل هوش مصنوعی تسلا بهبود پیدا می‌کند. در واقع، با جمع‌آوری حجم وسیعی از داده‌ها و همچنین، وجود تیمی از مهندسان بااستعداد، تسلا یکی از بهترین‌ها در عرصه رقابت بر سر تولید خودروهای خودران به حساب می‌آید.

همزمان با گسترش و رشد داده‌ها، ارائه‌دهندگان فضای ذخیره‌سازی ابری مانند AWS ،Microsoft Azure و Google Cloud در زمینه ذخیره کلان داده نقش برجسته و مهمی ایفا خواهند کرد. به واسطه این امر، امکان افزایش مقیاس‌پذیری و کارایی برای شرکت‌ها فراهم می‌شود. علاوه بر این، افراد بیشتری برای مدیریت و رسیدگی به این داده‌ها استخدام خواهند شد و فرصت‌های شغلی بیشتری برای “مدیران داده” به منظور مدیریت پایگاه داده یک شرکت ایجاد می‌شوند. از سوی دیگر، آینده کلان داده جنبه‌های تاریکی نیز دارد. بسیاری از شرکت‌های فناوری به دلیل مسائل مربوط به حریم خصوصی و داده‌ها با دشواری‌های مختلفی مواجه هستند. به بیان ساده، قوانین حاکم بر حقوق افراد در مورد داده‌های آن‌ها، فرآیند جمع‌آوری داده‌ها را بسیار محدودتر می‌کند. با این وجود، کاربردهای متعدد کلان داده در زندگی بشر انکارناپذیر است و کسب مهارت‌های مرتبط با آن می‌تواند منجر به رشد و شکوفایی در زمینه‌های مختلف به ویژه در زمینه دیجیتال مارکتینگ شود. برای درک بهتر مفاهیم مربوط به بیگ دیتا و آینده این حوزه علم کامپیوتر، در ادامه به تعدادی از مثال‌های رایج استفاده از کلان داده اشاره می‌شود.

مثال‌هایی برای بیگ دیتا

همان‌طور که در بخش‌های مختلف مقاله «بیگ دیتا چیست» به آن اشاره شد، کلان داده برای کشف الگوها و روندهای پنهان کاربرد دارد. در حقیقت، با به کارگیری کلان داده، در شرکت‌هایی که می‌خواهند درباره رفتارهای کاربران و مشتریان خود بیشتر بدانند، بینش‌های مفید و ارزشمندی در دسترس این کسب و کارها قرار می‌گیرد. این بینش‌ها به این کسب و کارها در یافتن مسیرهای جدید برای ایجاد نوآوری کمک می‌کنند و به دنبال آن، به موفقیت و رشد این سازمان‌ها منجر می‌شوند. اکنون در ادامه، به تعدادی از مثال‌های مرتبط با کلان داده پرداخته می‌شود.

• کشف عادت‌های مربوط به خرید مشتریان
• بازاریابی به صورت شخصی‌سازی شده
• جستجوی مشتریان جدید
• ابزارهای بهینه‌سازی سوخت برای صنعت حمل و نقل
• پیش‌بینی تقاضای کاربر برای شرکت‌ها
• نظارت بر شرایط درمانی و سلامت (از طریق داده‌های مربوط به نقشه‌برداری جاده برای وسایل نقلیه خودران به صورت برخط)
• برنامه‌های بهداشتی سفارشی‌سازی شده برای بیماران سرطانی
• نظارت بر داده‌های واقعی و پروتکل‌های امنیت سایبری

به طور عمده، در این بخش از مقاله اهمیت کلان داده و کاربرد آن در جوانب مختلف زندگی بشر همراه با مثال‌های گوناگون شرح داده شد. اکنون این سوال پیش می‌آید که عملکرد کلان داده به چه شکل است؟ در ادامه ابتدا به این سوال پایه و اساسی پاسخ داده می‌شود و پس از آن، نحوه تجزیه و تحلیل کلان داده مورد بررسی قرار می‌گیرد.

عملکرد بیگ دیتا چگونه است؟

قبل از اینکه کسب و کارها بتوانند از قابلیت‌های کلان داده استفاده کنند، لازم است آشنایی با نحوه جریان آن در محیط‌های مختلف، منابع، سیستم‌ها، مکان‌ها و کاربران در نظر گرفته شود. پنج مرحله کلیدی برای کلان داده وجود دارد که داده‌های سنتی و ساختار یافته، داده‌های بدون ساختار و داده‌های نیمه ساختاریافته را شامل می‌شوند. در ادامه این بخش از مقاله «بیگ دیتا چیست» به این پنج مرحله اشاره می‌شود.

1. تنظیم راهبرد کلان داده
2. تشخیص منابع کلان داده
3. دسترسی، مدیریت و ذخیره‌سازی داده‌ها
4. تجزیه و تحلیل داده‌ها
5. تصمیم‌گیری داده محور و هوشمند

تجزیه و تحلیل کلان داده چگونه انجام می‌شود؟

تجزیه و تحلیل کلان داده به اعمالی مانند جمع‌آوری، پردازش، پاکسازی (Clean) و تجزیه و تحلیل مجموعه داده‌های بزرگ اشاره دارد و به عنوان یک ابزار کمکی در عملیاتی کردن کلان داده سازمان‌ها به کار می‌رود. در ادامه هر یک از فرآیندهای ذکر شده معرفی می‌شوند.

جمع‌آوری داده‌ها

فرآیند جمع‌آوری داده‌ها (Data Collection) در هر سازمان به شکل متفاوتی است. با فناوری کنونی، این امکان برای سازمان‌ها وجود دارد که داده‌های ساختار یافته و بدون ساختار را از منبع‌های مختلف جمع‌آوری کنند. این منابع کلان داده از فضای ذخیره‌سازی ابری گرفته تا اپلیکیشن‌های موبایل و سنسورهای اینترنت اشیا (IoT) و فراتر از این موارد را شامل می‌شوند. برخی از داده‌ها در «انبار داده« (Data Warehouse) ذخیره می‌شوند. لازم به ذکر است که در انبارهای داده امکان استفاده از ابزارها و راه‌حل‌های «هوش تجاری» (Business intelligence | BI) وجود دارد و دسترسی به آن‌ها به راحتی انجام می‌شود. از سوی دیگر، داده‌های خام (Raw) یا همان بدون ساختار برای انبارهای داده بسیار متنوع یا پیچیده هستند، بنابراین، احتمالاً به چنین داده‌هایی فراداده (Metadata) اختصاص داده و در «دریاچه داده‌» (Data Lake) ذخیره می‌شوند. برای آشنایی بیش‌تر با مفاهیم مربوط به انبار داده و دریاچه داده و همچنین تفاوت میان آن‌ها، می‌توان به مقاله زیر رجوع کرد

پردازش داده‌ها

هنگامی که فرآیندهای جمع‌آوری و ذخیره‌سازی داده‌ها به صورت کامل انجام شدند، لازم است این داده‌ها به درستی سازماندهی شوند تا با کمک آن‌ها، نتایج دقیقی از پرسش‌های تحلیلی به دست آید. به طور ویژه، زمانی که داده‌ها وسیع و بدون ساختار هستند، سازماندهی داده‌ها یکی از اصول مهم در کلان داده به حساب می‌آید. در جهان کنونی، داده‌های در دسترس به صورت تصاعدی در حال رشد هستند و به همین دلیل، پردازش آن‌ها برای سازمان‌های مختلف با چالش‌های بسیاری همراه است. یکی از روش‌های پردازشی، پردازش دسته‌‌ای (Batch Processing) است که در آن بلوک‌های بزرگ داده‌ها به مرور مورد بررسی قرار می‌گیرند. پردازش دسته‌ای زمانی مفید است که بین مراحل جمع‌آوری و تجزیه و تحلیل داده‌ها زمان برگشت (Turnaround Time) بیشتری وجود داشته باشد. علاوه بر این، امکان استفاده از پردازش جریان (Stream Processing) داده‌ها وجود دارد. در پردازش جریان، دسته‌های کوچک داد‌ه به طور همزمان بررسی می‌شوند و به منظور تسریع فرآیند تصمیم‌گیری، زمان تأخیر بین جمع‌آوری و تجزیه و تحلیل کوتاه می‌شود. البته باید توجه کرد پردازش جریان اغلب پیچیده‌تر و گران‌تر از پردازش دسته‌ای است.

پاکسازی داده‌ها

مستقل از اینکه داده‌ها به صورت گسترده یا کوچک هستند، باید برای بهبود کیفیت آن‌ها و دستیابی به نتایج قوی، فرآیند پاکسازی داده‌ (Data Cleanng) روی آن‌ها انجام شود. به این ترتیب، لازم است همه داده‌ها قالب‌بندی درستی داشته باشند، به طوری که داده‌های تکراری یا غیرمرتبط از آن‌ مجموعه حذف شوند. باید توجه کرد که در صورت وجود داده‌های کثیف (Dirty Data)، ممکن است ابهام و گمراهی ایجاد شود و به دنبال آن‌، بینش‌های ناقصی به کار برود.

تجزیه و تحلیل داد‌ه‌ها

با وجود اینکه مراحل آماده‌سازی داده‌ها زمان زیادی نیاز دارد، اما به محض قرارگیری داده‌ها در وضعیت قابل استفاده، می‌توان با کمک فرآیندهای تحلیلی پیشرفته، کلان داده را به بینش‌های ارزشمند تبدیل کرد. داده کاوی، تجزیه و تحلیل پیش‌بینی کننده و یادگیری عمیق همگی روش‌های تجزیه و تحلیل کلان داده هستند. با توجه به اهمیت کلان داده در جهان کنونی و بازار کار، در بخش بعدی برخی از ابزارها و زبان‌های برنامه نویسی آن معرفی می‌شوند.

ابزارها و زبان‌های برنامه نویسی بیگ دیتا

در حال حاضر، تعدادی ابزار رایج و کاربردی برای تجزیه و تحلیل کلان داده وجود دارند. در ادامه مقاله «بیگ دیتا چیست» به معرفی این ابزارهای تحلیل کلان داده پرداخته می‌شود.

• Hadoop
• آپاچی اسپارک (Apache Spark)
• آپاچی هایو (Apache Hive)
• SAS

اغلب ابزارهای فوق فریم‌ورک‌های متن باز هستند و به منظور مدیریت و رسیدگی به حجم وسیعی از داده‌ها به کار می‌روند. این ابزارها به صورت کارآمد عمل می‌کنند و در آن‌ها ویژگی‌های مفید متعددی برای تجزیه و تحلیل بیگ دیتا ارائه می‌شوند. لازم به ذکر است در این مقاله به این ابزارها و زبان‌های برنامه نویسی به طور مختصر و کوتاه اشاره شده است، بنابراین در صورت لزوم، می‌توان برای آشنایی بیشتر با این ابزارها، علاوه بر مقاله :بیگ دیتا چیست»، به مقاله «ابزارهای تحلیل کلان داده» نیز رجوع کرد. اکنون در ادامه این بخش از مقاله «بیگ دیتا چیست» برخی از زبان‌های برنامه نویسی محبوب در حوزه علم داده معرفی شده‌‌اند. در این زبان‌های برنامه نویسی با به کارگیری پکیج‌ها و کتابخانه‌های مختلف امکان مدیریت داده‌ها با حجم بالا وجود دارد.

• زبان R
• زبان پایتون
• زبان اسکالا (Scala)

با روشن شدن اهمیت کلان داده به عنوان یک ابزار کمکی در علم کامپیوتر، حال این سوال پیش می‌آید که کدام شرکت‌ها از بیگ دیتا در کسب و کار استفاده می‌کنند. در بخش بعدی این مقاله به این سوال پاسخ داده می‌شود و جوانب مختلف آن‌ها نیز سنجیده می‌شوند.

چه سازمان‌هایی از کلان داده استفاده می‌کنند؟

امروزه، کلان داده نقش بسیار مهمی در صنعت‌های مختلف ایفا می‌کند. به طوری که از آن در صنعت بهداشت و سلامت، ورزش، بیمه و بسیاری از موارد ضروری دیگر استفاده می‌شود. اما کدام شرکت‌ها از بیگ دیتا استفاده می‌کنند؟ در ادامه این بخش از مقاله «بیگ دیتا چیست»، شرکت‌هایی معرفی می‌شوند که به طور اختصاصی از کلان داده در کسب و کار خود بهره می‌برند.

استفاده از بیگ دیتا در شرکت آمازون

یک پلتفرم تجارت الکترونیک شناخته شده است و در آن از تمام اطلاعات مربوط به مشتریان به منظور شناخت آن‌ها استفاده می‌شود. به بیان ساده، اطلاعات مربوط به خرید مشتری در آمازون رویکردی است که به واسطه آن، می‌توان فهمید چگونه مشتریان پول خود را برای محصولات خرج می‌کنند. همه این اطلاعات ذخیره‌شده برای الگوریتم‌های تبلیغاتی در شبکه‌های اجتماعی جمع‌آوری شده‌اند و به کارگیری آن‌‌ها مزیت‌هایی مانند گسترش روابط با مشتریان، پیشنهاددهی محصولات، بهبود تجربه و خدمات مشتری و سایر موارد را به دنبال دارد.

به عنوان مثال، در صورتی که مشتری محصولی را به لیست علاقه‌مندی‌ها یا سبد خرید خود اضافه کند، سپس برخی از موارد مربوط به آن محصول یا مواردی که همراه با آن توسط عمده مشتریان خریداری شده‌اند، نشان داده می‌شوند. به این ترتیب، در آمازون از کلان داده برای ارائه پیشنهاد محصول به مشتری، تسهیل خریدهای فوری و همچنین افزایش تجربه خرید استفاده می‌شود. همچنین، کلان داده برای مدیریت و رسیدگی به قیمت محصولات نیز کاربرد دارد. در واقع، در این شرکت بیگ دیتا با هدف جذب مشتریان بیشتر و در عین حال، افزایش سود خالص مورد استفاده قرار می‌گیرد.

استفاده از بیگ دیتا در شرکت اپل

بدون شک اپل در به کارگیری فناوری‌های پیشرفته متخصص است. در شرکت قدرتمند اپل از فناوری‌های کلان داده به منظور تجزیه و تحلیل آن‌ها استفاده می‌شود. با به کارگیری چنین روش‌هایی، تصمیم‌گیری‌های شرکت اپل تسهیل می‌یابد. در واقع، داده‌های جمع‌آوری شده باعث می‌شوند که متناسب‌ترین محصولات و خدمات جدید اپل برای مشتریان ارائه شوند. چرا که با کمک کلان داده، نحوه استفاده مردم از برنامه‌ها در زندگی واقعی مشخص می‌شود و به دنبال آن، طرح‌های آینده شرکت اپل با توجه به ترجیحات و علایق مشتری تغییر داده خواهند شد. در شرکت اپل، به صورت عمده کلان داده دارای دو کاربرد مهم است:

• طراحی اپلیکیشن
• پیگیری وضعیت سلامت افراد و بهبود شیوه زندگی

به عنوان مثال، ساعت هوشمند اپل علاوه بر کاربرد آن به عنوان ساعت، امکان جمع‌آوری داده‌ها را نیز دارد. به طوری که با استفاده از آن، می‌توان کارهای روزمره کاربران را بررسی کرد. به این ترتیب، می‌توان دستگاه‌های پوشیدنی اپل را به عنوان ابزاری با پتانسیل بالا برای حوزه بیگ دیتا در نظر گرفت.

استفاده از بیگ دیتا در شرکت گوگل

با به کارگیری کلان داده، گوگل امکان درک آنچه کاربران نیاز دارند را بدست می‌آورد. این فرآیند بر اساس پارامترهای مختلفی مانند تاریخچه جستجو، لوکیشن‌ها، روندها و سایر موارد انجام می‌شود. پس از آن، با اجرای الگوریتم روی کلان داده، برآوردهای پیچیده انجام می‌شوند. در نهایت، به راحتی فهرست‌های شاخص‌بندی شده و مرتب در گوگل نمایش داده خواهند شد و تا جایی که امکان دارد این فهرست‌ها با نیازمندی‌های کاربر تطابق دارند. به بیان ساده، نتایج جستجوی گوگل از لحاظ مرتبط بودن و اعتبار با هدف تطابق با نیازمندی‌های کاربران فرموله شده‌‌اند. برخی از روش‌های گوگل مانند صفحات شاخص‌گذاری شده، فیدهای (Feedهای) بلادرنگ، ابزارهای مرتب‌سازی، صفحات گراف دانش، جستجوی لفطی و معنایی، ابزار ترجمه گوگل (Google Translate) و سایر موارد همگی برای درک درخواست‌های کاربران مورد استفاده قرار می‌گیرند.

استفاده از بیگ دیتا در شرکت اسپاتیفای

در اسپاتیفای (Spotify) از روش‌های مختلف کلان داده استفاده می‌شود. اسپاتیفای شرکتی است که کاربران بسیاری دارد و اساساً داده محور به حساب می‌آید. به طوری که در این شرکت، اطلاعات در مورد اجزای مختلف مانند زمان پخش آهنگ‌ها، جایی که آن‌ها در حال پخش هستند، دستگاه برای پخش آهنگ‌ها و زمان پخش آن‌ها همگی به کار می‌روند. بنابراین، با کمک این داده‌ها بینش‌های فوق العاده‌ای در اختیار صنعت فناوری موسیقی قرار می‌گیرد که این بینش‌ها در تاثیرگذاری روی شنوندگان نقش مهمی دارند. همچنین، اسپاتیفای برای هنرمندان نیز راه‌اندازی شده است و آن‌ها می‌توانند با دسترسی به داده‌ها مسیر پیشرفت و شخصیت خود را در اجتماع بهبود ببخشند. علاوه بر این، هنرمندان می‌توانند با کلان داده وفادارترین طرفدارهای خود را بشناسند و پیشنهادهای ویژه مختلفی مانند بلیط کنسرت به آن‌ها ارائه دهند. به طور کلی در اسپاتیفای، کلان داده برای شخصی‌سازی سلیقه کاربران، توسعه محتوای شخصی‌سازی شده و افزایش بازاریابی از طریق تبلیغات هدفمند کاربرد دارد.

استفاده از بیگ دیتا در شرکت اینستاگرام

با استخراج بینش‌های مشتریان از طریق روش‌های کلان داده، اینستاگرام به عنوان یکی از پلتفرم‌های کاربرپسند و محبوب در سطح جهان شناخته شده است. در ادامه برخی از کاربردهای بیگ دیتا در اینستاگرام شرح داده می‌شوند.

• زمانی که بخش فید اینستاگرام توسط کاربر پیمایش یا اصطلاحاً اسکرول می‌شود، بار بعدی نیز پست‌های مشابهی به کاربر نمایش داده می‌شود. چرا که هدف در این پلتفرم نمایش پست‌هایی است که با سلیقه کاربران مطابقت دارد. این عمل با به کارگیری کلان داده انجام می‌شود و بر اساس اطلاعات جمع‌آوری شده، پست‌های خاص و متناسب با علایق کاربران به آن‌ها پیشنهاد می‌شوند. به عنوان مثال، در صورتی که یک کاربر اینستاگرام به فوتبال علاقه داشته باشد، پست‌های مرتبط با فوتبال برای این فرد نمایش داده می‌شوند.
• به طور عمده، اصلی‌ترین کاربرد کلان داده در اینستاگرام، مدیریت بحران است. برای مثال، در زمان وقوع بحران ابولا، کلان داده برای پیگیری لایک‌ها، فالورها و کاربران جدیدی که به بهبود رشد شرکت کمک می‌کند کاربردهای زیادی دارد. به طور کلی، اینستاگرام یکی از شرکت‌های پرآوازه و محبوب است که از هوش مصنوعی و کلان داده به صورت بسیار به شکل کارآمد استفاده می‌کند.

استفاده از بیگ دیتا در شرکت فیسبوک

ممکن است این سوال پیش آمده باشد که فیسبوک چگونه تاریخ تولدها، سالگرد ازدواج و سایر تاریخ‌های مهم زندگی کاربران خود را یادآوری می‌کند. اعمال ذکر شده همگی با به کارگیری کلان داده یا همان بیگ دیتا انجام می‌شوند. در فیسبوک از روش‌های زیر برای بهبود تجربه کاربران استفاده می‌شود.

• با کمک کلان داده، یک فیلم کوتاه در فیسبوک ساخته می‌شود که همه عکس‌های کاربران در آن قرار دارد.
• در فیسبوک، نقش مهم داده‌ها کاملاً غیرقابل‌انکار است. چرا که ارائه یادآورهای فیسبوک با استفاده از این داده‌ها انجام می‌شوند.
• «بازشناسی تصویر» (Image Recognition) یکی از فناوری‌های کاربردی کلان داده است که در فیسبوک به کار می‌رود. با کمک این فناوری که برای دستگاه‌ها کاربرد دارد، نحوه مشاهده جزییات در یک تصویر یا فیلم خاص از طریق چندین تصویر دیگر برای دستگاه‌ها اعلان می‌شود.
• به این ترتیب، تک تک داده‌ها در فیسبوک بررسی می‌شوند و به واسطه این تجزیه و تحلیل، هر زمان که کاربران وارد فیسبوک می‌شود خدمات مناسب‌تری دریافت می‌شوند.

استفاده از بیگ دیتا در شرکت نتفلیکس

نتفلیکس (Netflix) میلیون‌ها کاربر دارد و رسیدگی به چنین حجم بالایی از داده‌ها بسیار دشوار است. به همین دلیل، کلان داده برای جمع‌آوری داده‌های کاربران و پیشنهاد فیلم‌ها بر اساس جستجوهای آن‌ها در گذشته کاربرد دارد. بر اساس ادعای این شرکت، بیش‌تر فعالیت بینندگان بر اساس پیشنهادات شخصی‌سازی شده انجام می‌شوند. به منظور ساخت پروفایل کاربری دقیق، در شرکت نتفلیکس داده‌ها به همراه الگوریتم‌های دقیق و از جنبه‌های مختلف بررسی می‌شوند. به عنوان مثال، نتفلیکس برای شناخت علاقه‌مندی‌های کاربران، بخش‌هایی از فیلم را ذخیره می‌کند که بیشترین بینننده یا مشاهده مجدد را دارند. با توجه به نکات مذکور، می‌توان نتفلیکس را به عنوان یکی از شرکت‌های موفق در زمینه کلان داده در نظر گرفت. چرا که به واسطه مهارت‌های جمع‌آوری و استفاده از داده‌ها، نتفلیکس یکی از رایج‌ترین پلتفرم‌های فیلم به حساب می‌آید و کاربران متعددی از آن استفاده می‌کنند.

استفاده از بیگ دیتا در شرکت استاباکس

استارباکس (Starbucks) یک برند بین‌المللی به حساب می‌آید که به دلیل ارائه قهوه با کیفیت بر سر زبان‌ها افتاده است. با توجه به اینکه این برند در سطح بین‌المللی شناخته شده است، مدیریت و رسیدگی این حجم از داده‌ها توسط هیچ فردی امکان‌پذیر نیست. به همین دلیل، در این زمان نقش مهم کلان داده مطرح می‌شود. هنگامی که از اپلیکیشن موبایل استفاده یا سفارشی ثبت می‌شود، با کمک کلان داده، اطلاعات مشتری به طور کامل جمع‌آوری می‌شوند. به این طریق، با توجه به داده‌های گردآوری شده، محصولات پیشنهادی برای کاربر نمایش داده خواهد شد. از سوی دیگر، شرکت استارباکس برای تنظیم منوهای خود بر مبنای سلیقه کاربر نیز کاربرد دارد. علاوه بر موارد مذکور، از اطلاعات جمع‌آوری شده برای ایجاد کمپین‌ها و تبلیغات بازاریابی مناسب‌تر، انتخاب مکان برای فروشگاه‌های جدید و حتی تصمیم‌گیری در مورد به روزرسانی‌های بعدی منو استارباکس نیز استفاده می‌شوند. در این بخش از مقاله «بیگ دیتا چیست» سازمان‌هایی معرفی شدند که از کلان داده به صورت کارآمد استفاده می‌کنند. اکنون در بخش بعدی، منابع دسترسی به بیگ دیتا معرفی می‌شوند.

منابع اصلی دسترسی به کلان داده‌

اصلی‌ترین کاربرد کلان داده برای سازمان‌ها تجزیه و تحلیل آن به منظور افزایش بهره‌وری است. اما پیش از آن که امکان استخراج بینش و اطلاعات ارزشمند از بیگ دیتا فراهم شود، ابتدا باید از منابع مهم کلان داده در دسترس آگاهی داشت. همان‌طور که پیش تر به آن اشاره شد، داده‌ها به شکل‌های مختلف و در سطح گسترده و وسیع وجود دارند. در صورتی که داده‌ها به خوبی طبقه‌بندی نشده باشند یا دارای منبع مناسبی نباشند، ممکن است منجر به هدر رفتن زمان و منابع گران‌بهایی شوند. بنابراین، برای اینکه استفاده کلان داده به صورت موفقیت‌آمیز و کارآمد انجام شود، مهم است که شرکت‌ها از دانش لازم برای غربالگری منابع داده مختلف موجود برخوردار باشند و بر اساس قابلیت استفاده و ارتباط داده‌ها، آن‌ها را طبقه‌بندی کنند. در ادامه این بخش از مقاله «بیگ دیتا چیست» به منابع اصلی دسترسی به کلان داده پرداخته می‌شود.

رسانه‌ به عنوان یک منبع کلان داده

رسانه یکی از محبوب‌‌ترین منابع کلان داده است و به واسطه آن بینش‌های ارزشمندی در مورد سلیقه و ترجیحات مشتری و همچنین روندها یا همان ترندهای در حال تغییر ارائه می‌شوند. از آن جایی که رسانه به طور خودکار منتشر می‌شود و در آن امکان عبور از تمام موانع فیزیکی و جمعیتی وجود دارد، عمدتاً سریع‌ترین راه برای بدست آوردن دیدگاه عمیق از مخاطبان مورد نظر یک کسب و کار، همین رسانه است. در حقیقت، علاوه بر شناخت ترجیحات مشتری با کمک رسانه، با به کارگیری آن در کسب و کارها می‌توان الگوها را تشخیص داد و به دنبال آن، نتیجه‌گیری‌‌‌ها و تصمیم‌گیری‌های سازمان را تقویت کرد. منظور از رسانه، شبکه‌های اجتماعی و بسترهای تعاملی مانند فیسبوک، گوگل، یوتیوب، توییتر و همچنین رسانه‌های عمومی مانند تصاویر، فیلم‌ها، فایل‌های صوتی و پادکست‌ها هستند. با به کارگیری رسانه‌های مذکور به عنوان منابع کلان داده، بینش‌های کمی و کیفی متعددی در مورد جوانب تعامل با کاربران ارائه می‌شود.

فضای ابری به عنوان یک منبع کلان داده

امروزه، شرکت‌ها با انتقال داده‌های خود به فضای ابری یا همان Cloud، از منابع داده‌های سنتی پیشی گرفته‌اند. فضای ذخیره‌سازی ابری، داده‌های ساختاریافته و بدون ساختار را در بر می‌گیرد و به کمک آن، اطلاعات بلادرنگ و بینش‌های درخواستی مختلفی در اختیار کسب و کارها قرار می‌گیرد. یکی از ویژگی‌های اصلی رایانش ابری انعطاف‌پذیری و مقیاس‌پذیری بالای آن است. با توجه به اینکه می‌توان کلان داده را روی فضای‌های ابری عمومی یا خصوصی و از طریق شبکه‌ها و سرورها ذخیره و تامین کرد، فضای ابری یکی از منبع‌های داده کارآمد و اقتصادی است.

وب به عنوان یک منبع کلان داده

صفحات وب عمومی کلان داده را تشکیل می‌دهند و امکان به کارگیری آن‌ها به راحتی و در سطح گسترده وجود دارد. در واقع، به طور معمول شرکت‌ها امکان دسترسی به داده‌های موجود در وب یا همان اینترنت را دارند. علاوه بر این، در وب سرویس‌هایی مانند ویکی پدیا، بینش‌ها و اطلاعات به صورت رایگان و سریع برای تمام افراد ارائه می‌شوند. به دلیل عظمت چشم‌گیر وب، قابلیت‌های مختلف آن به ویژه برای استارت‌آپ‌ها و شکرت‌های کوچک تضمین می‌شود. چرا که چنین شرکت‌هایی برای به کارگیری کلان داده نیازی به انتظار برای توسعه زیرساخت‌ها و مخازن کلان داده‌های خود ندارند.

پایگاه داده به عنوان یک منبع کلان داده

امروزه، در مشاغل به منظور کسب کلان داده مرتبط با اهداف خود، در مشاغل ترجیح داده می‌شود از پایگاه‌های داده سنتی و مدرن به صورت ادغام‌شده استفاده شود. به کارگیری پایگاه‌های داده سنتی و مدرن به صورت تلفیقی، راه را برای ارائه یک مدل داده ترکیبی هموار می‌کند و از سوی دیگر، هزینه‌های سرمایه‌گذاری و زیرساخت فناوری اطلاعات کمی را نیاز دارد. علاوه بر این، پایگاه داده‌ها برای چندین هدف مرتبط با هوش تجاری (BI) نیز کاربرد دارند. با کمک این پایگاه داده‌ها می‌توان بینش‌ها را استخراج کرد و از آن‌ها برای افزایش سود کسب و کار استفاده کرد. پایگاه داده‌هایی مانند اوراکل (Oracle)، SQL، اکسس (Microsoft Access)، Amazon Simple ،DB۲ و سایر موارد همگی شامل انواع مختلفی از منابع بیگ دیتا هستند. فرآیند استخراج و تجزیه و تحلیل داده‌ها در منابع گسترده کلان داده، یک فرآیند پیچیده است و ممکن است خسته‌کننده و زمان‌بر باشد. به همین دلیل در صورتی که سازمان‌ها تمام ملاحظات لازم در مورد کلان داده و منابع آن را در نظر بگیرند، پیچیدگی‌های مذکور رفع خواهند شد. به بیان ساده، اگر ملاحظات مربوط به کلان داده و منابع آن، با اهداف کسب و کار هماهنگ و سازگار تنظیم شوند، فرآیند استخراج و تجزیه و تحلیل داده‌ها تسهیل می‌یابد.

اینترنت اشیا به عنوان یک منبع کلان داده

داده‌ها یا محتوای تولید شده از اینترنت اشیا (Internet of Things | IoT) منابع کلان داده ارزشمندی را تشکیل می‌دهند. معمولاً این داده‌ها از حسگرهای متصل به دستگاه‌های الکترونیکی تولید می‌شوند. منظور از اینترنت اشیا میلیاردها دستگاهی است که در سراسر جهان وجود دارند و به اینترنت متصل هستند. این دستگاه‌های فیزیکی مختلف، داده‌ها را گردآوری می‌کنند و با یکدیگر به اشتراک می‌گذارند. ظرفیت منبع به توانایی حسگرها در ارائه اطلاعات دقیق در زمان واقعی بستگی دارد. اکنون اینترنت اشیا در حال پیشرفت است و در آن کلان داده به طور وسیع به کار می‌رود. علاوه بر تولید کلان داده از کامپیوترها و تلفن‌های هوشمند، می‌توان داده‌ها را از دستگاه‌های پزشکی، فرآیندهای وسایل نقلیه، بازی‌های ویدئویی، مترها، دوربین‌ها، لوازم خانگی و موارد مشابه نیز تهیه کرد.