Hadoop - Groß Daten Übersicht

“90% von der Welt ist Daten wurde generiert in den zuletzt wenige Jahren.”

Durch das Aufkommen neuer Technologien, Geräte und Kommunikationsmittel wie Social Networking-Websites, die Menge der Daten, die von den Menschen produziert wird schnell wächst jedes Jahr. Die Menge der Daten, produziert durch wir von Anbeginn der Zeit,bis 2003 wird fünf Milliarden Gigabyte. Wenn Sie stapeln die Daten in Form von DatenScheibe kann es eine ganze Fußballfeld zu füllen. Der gleiche Betrag wurde erstellt alle zwei Tage im Jahr 2011 ,und in alle zehn Minuten im Jahr 2013. Diese Quote ist immer noch enorm wächst. Obwohl all diese Informationen hergestellt ist sinnvoll und nützlich sein kann, wenn sie verarbeitet wird, es ist vernachlässigt.

Was ist Groß Daten?

groß Daten ist eine Sammlung von großen DatenSetz, die nicht mit herkömmlichen Computertechnik verarbeitet werden können. Es ist nicht eine einzelne Technik oder ein Werkzeug, sondern es beteiligen vielen Bereichen der Wirtschaft und Technik.

Was kommt unter Groß Daten?

groß Daten beinhaltet, die von verschiedenen Geräten und Anwendungen erstellten Daten. Da unten sind einige der Felder, die unter dem Dach von Big Data zu kommen groß Daten.

• Black Box Daten: Es ist eine Komponente der Hubschrauber, Flugzeuge und Jets usw. Es fängt Stimmen der Flugbesatzung,Einspielungen von Mikrofonen und Ohrhörer, und die Leistung Informationen von das Flugzeug.

• sozialen Medien Daten: Soziale Medien wie Facebook und Twitter halten Informationen und die Aussicht gepostet von Millionen von Menschen auf der ganzen Welt.

• Börsekennzahlen: Die Börsendaten hält Informationen über die "kaufen" und "verkaufen" Entscheidungen gemacht über einen Anteil von verschiedenen Unternehmen gemacht von den Kunden.

• Power Grid Daten: Das power grid Daten hält Informationen, die von einem bestimmten Knoten in Bezug verbraucht, um eine Basisstation.

• Transport Daten : Transport daten umfasst Modell, Kapazität, Entfernung und die Verfügbarkeit eines Fahrzeugs.

• Such maschine Daten: Such maschinen abzurufen viel Daten aus verschiedenen Datenbanken.

So groß Daten umfasst riesige Volumen, hohe Geschwindigkeit und erweiterbare Vielzahl von Daten. Die darin enthaltenen Daten werden von drei Typen sein.

• Strukturierte Daten: Relationale Daten.

• Halb strukturierte Daten: XML-Daten.

• Unstrukturierte Daten: Word, PDF, Text, Media-Logs.

Vorteile von groß Daten

• Mit Hilfe der Informationen in dem sozialen Netzwerk wie Facebook gehalten, die Marketing-Agenturen sind über die Reaktion für ihre Kampagnen, Promotions und anderen Werbemedien zu lernen.

• Mit Hilfe der Informationen in den Social Media wie Vorlieben und Produktwahrnehmung der Verbraucher, Produktunternehmen und Einzelhandelsorganization sind planen, ihre Produktion.

• Mit den Daten über die medizinische Vorgeschichte des Patienten, Kliniken stellt sind eine bessere und schnellen Service.

Groß Daten Technologien

Groß daten technologien sind wichtig in eine genauere Analyse, die zu konkreteren Entscheidungs findung was zu einer größeren betrieblichen Effizienz, Kostensenkungen und geringere Risiken für die Geschäftsentwicklung führen können.

Um die Macht der großen Daten zu nutzen, können Sie eine Infrastruktur, verwalten und verarbeiten große Mengen an strukturierten und unstrukturierten Daten in Echtzeit und kann Datenschutz und Datensicherheit zu schützen erfordern würde.

Es gibt verschiedene Technologien auf dem Markt von verschiedenen Anbietern wie Amazon, IBM, Microsoft, etc., um große Daten zu handhaben. während der Suche nach den Technologien, die große Daten Griff, untersuchen wir die folgenden zwei Klassen von Technologie:

Operationelle Groß Daten

Dazu gehören Systeme wie MongoDB, dass operativen Fähigkeiten zur Echtzeit bieten, interaktive Workloads, wo Daten ist primär erfasst und gespeichert.

NoSQL groß daten-Systeme wurden entworfen, um die Vorteile der neuen Cloud-Computing-Architekturen, die im letzten Jahrzehnt entstanden sind, damit massiven Berechnungen kostengünstig und effizient ausgeführt werden, zu nehmen. Dies macht Betriebs groß daten-Workloads viel einfacher zu handhaben, billiger und schneller zu implementieren.

Einige NoSQL Systeme können Einblicke in Mustern und Trends stellen auf Basis von Echtzeitdaten mit minimaler Kodierung und ohne die Notwendigkeit für Daten Wissenschaftler und zusätzliche Infrastruktur.

Analytische Groß Daten

Dies umfasst Systeme wie Massively Parallel Processing (MPP) Datenbanksysteme und Kartereduzieren dass stellt analytischen Fähigkeiten für die retrospektive und komplexe Analyse, dass können die meisten oder alle der Daten berühren können.

Kartereduzieren stellt ein neues Verfahren Analysieren von Daten zum das ist komplementär, die zu den Fähigkeiten, die von SQL vorgesehen ist, und ein System, basierend auf Kartereduzieren dass kann aus einzelnen Servern zu Tausenden von hohen und niedrigen Ende Maschinen skaliert werden.

Diese beiden Klassen von Technologien ergänzen sich und häufig zusammen eingesetzt werden.

Betriebs-vs Analytischen System

Groß Daten Herausforderungen

Die großen Herausforderungen zugeordnet mit großen Daten sind wie folgt:

• Erfassen von Daten
• Kuration
• Speicher
• Suchen
• Freigabe
• Überweisung
• Analyse
• Vorstellung

Um die oben genannten Herausforderungen zu erfüllen, Organisationen in der Regel nehme Hilfe von Unternehmensservern.