बिग डेटा, डेटा माइनिंग और डेटा एनालिटिक्स: नोट्स

हर कार्ड स्वाइप, टोल भुगतान, रेल आरक्षण और मोबाइल रिचार्ज अपने पीछे एक अभिलेख छोड़ जाता है, और ऐसे अभिलेखों की मात्रा इतनी बढ़ चुकी है कि कोई एक कंप्यूटर या सामान्य डेटाबेस उसे संभाल नहीं सकता। इतने आकार और इतनी गति वाले डेटा को बिग डेटा कहते हैं, उसके भीतर छिपे उपयोगी प्रतिरूप खोजने का काम डेटा माइनिंग है, और उन प्रतिरूपों को निर्णय में बदलने की व्यापक कला डेटा एनालिटिक्स है। बैंकिंग, एसएससी, रेलवे और राज्य परीक्षाओं में इस अध्याय से दो-तीन प्रश्न आते हैं, और लगभग सदैव परिभाषाओं पर, प्रोग्रामिंग पर नहीं।

डेटा को बिग क्या बनाता है: वी

तीन वी का नामकरण डग लैनी ने 2001 में किया था और वही आज भी मानक उत्तर है। वॉल्यूम यानी परिमाण, जो मेगाबाइट के बजाय टेराबाइट और पेटाबाइट में नापा जाता है। वेलोसिटी यानी वह गति जिससे डेटा आता है और जिससे उसे संसाधित करना पड़ता है, जैसे किसी भुगतान गेटवे पर प्रति सेकंड हजारों लेनदेन। वैरायटी यानी रूपों की विविधता: तालिका की संरचित पंक्तियां, एक्सएमएल और जेसन जैसी अर्ध-संरचित फाइलें, तथा असंरचित पाठ, चित्र, ध्वनि और वीडियो। बाद में दो वी और जुड़े, जिनसे पांच की परिचित सूची पूरी होती है: वेरासिटी, अर्थात डेटा कितना विश्वसनीय और स्वच्छ है, और वैल्यू, अर्थात उससे कोई उपयोगी बात निकल पाती है या नहीं।

हडूप और बिग डेटा के उपकरण

अपाचे हडूप वह मुक्त स्रोत ढांचा है जिसने बिग डेटा को व्यावहारिक बनाया। इसे डग कटिंग और माइक कैफरेला ने बनाया, यह मुख्यतः जावा में लिखा गया है, और इसका नाम एक खिलौना हाथी से पड़ा। इसका विचार सरल है: एक विशाल मशीन के बजाय साधारण मशीनों का समूह लो, फाइल को खंडों में तोड़ो, प्रत्येक खंड की कई प्रतियां भिन्न मशीनों पर रखो, और गणना उस मशीन तक भेजो जहां डेटा पहले से है। इसके तीन मुख्य भाग हैं हडूप डिस्ट्रिब्यूटेड फाइल सिस्टम या एचडीएफएस, जो खंडों का भंडारण करता है, मैपरिड्यूस, जो उन्हें पहले मैप और फिर रिड्यूस चरण में संसाधित करता है, और यार्न, जो समूह में संसाधन बांटता है। वर्तमान संस्करणों में एचडीएफएस का डिफॉल्ट खंड आकार 128 मेगाबाइट है। इसी केंद्र के चारों ओर हाइव है, जो एसक्यूएल जैसी क्वेरी चलाने देता है, पिग है अपनी पिग लैटिन भाषा के साथ, एचबेस डेटाबेस, डेटा लाने के लिए स्कूप और फ्लूम, तथा समन्वय के लिए जूकीपर। अपाचे स्पार्क, जो डेटा को स्मृति में रखता है, दोहराए जाने वाले कार्यों में मैपरिड्यूस से बहुत तेज है। जहां तालिकाएं काम न आएं, वहां नोएसक्यूएल डेटाबेस प्रयुक्त होते हैं: मोंगोडीबी दस्तावेज रखता है, कसांद्रा स्तंभ, रेडिस कुंजी-मान युग्म और नियोफोरजे ग्राफ।

डेटा वेयरहाउस, डेटा मार्ट और डेटा लेक

डेटा वेयरहाउस वह केंद्रीय भंडार है जो दैनिक कार्य के लिए नहीं, विश्लेषण के लिए बनाया जाता है। बिल इनमन की मानक परिभाषा इसे विषय-उन्मुख, समाकलित, समय-परिवर्ती और अनुद्वेगशील बताती है, अर्थात यह बिक्री जैसे विषयों के चारों ओर संगठित होता है, अनेक प्रणालियों का डेटा जोड़ता है, इतिहास रखता है, और पुराने अभिलेख मिटाता नहीं। डेटा इसमें ईटीएल से आता है, यानी एक्सट्रैक्ट, ट्रांसफॉर्म और लोड। डेटा मार्ट एक विभाग के लिए बना छोटा वेयरहाउस है, जबकि डेटा लेक कच्चे डेटा को उसके मूल रूप में तब तक रखता है जब तक किसी को उसकी आवश्यकता न हो। लेनदेन दर्ज करने वाली दैनिक प्रणाली को ओएलटीपी, अर्थात ऑन-लाइन ट्रांजैक्शन प्रोसेसिंग कहते हैं: बहुत से छोटे पठन और लेखन, तत्काल उत्तर, और सदा वर्तमान डेटाबेस। वेयरहाउस पर बनी विश्लेषणात्मक प्रणाली ओएलएपी है, ऑन-लाइन एनालिटिकल प्रोसेसिंग: कम परंतु बहुत भारी क्वेरी, जो डेटा क्यूब पर चलती हैं, जिसे उपयोगकर्ता रोल अप, ड्रिल डाउन, स्लाइस और डाइस कर सकता है।

डेटा माइनिंग और एनालिटिक्स के प्रकार

डेटा माइनिंग उस बड़ी प्रक्रिया का एक चरण है, प्रतिरूप खोजने वाला चरण, जिसे नॉलेज डिस्कवरी इन डेटाबेसेज या केडीडी कहते हैं और जिसमें चयन, सफाई, रूपांतरण तथा व्याख्या भी शामिल है। इसके मानक कार्य हैं वर्गीकरण, जो अभिलेख को ज्ञात वर्ग में रखता है, क्लस्टरिंग, जो वर्ग पहले से जाने बिना समान अभिलेखों के समूह बनाती है, समाश्रयण, जो कोई संख्या पूर्वानुमानित करता है, सहचर्य नियम खनन, जो साथ खरीदी जाने वाली वस्तुएं खोजता है और मार्केट बास्केट विश्लेषण का आधार है, तथा बहिर्मान खोज, जिससे बैंक संदिग्ध लेनदेन चिह्नित करते हैं। सहचर्य नियमों की पाठ्यपुस्तक विधि एप्रियोरी है; क्लस्टरिंग की के-मीन्स; और वर्गीकरण के लिए निर्णय वृक्ष, नेव बेज तथा के-निकटतम पड़ोसी प्रयुक्त होते हैं। एनालिटिक्स स्वयं चार स्तरों में बंटा है: वर्णनात्मक बताता है क्या हुआ, निदानात्मक बताता है क्यों हुआ, पूर्वानुमानी बताता है आगे क्या होने की संभावना है, और निर्देशात्मक बताता है इसलिए क्या किया जाए। प्रश्नपत्रों में आर, पायथन, एसएएस, टेबलो और पावर बीआई के नाम सबसे अधिक आते हैं।