dotnetomaniak.pl - Artykuły z tagiem hadoop

Było o HDFS. Teraz wjeżdża temat MapReduce. Trzeba zagonić serwery do roboty 😈

Jak działa MapReduce?

Programowanie rozproszone 1405 dni, 6 godzin, 37 minut temu mszymczyk 99 źrodło rozwiń

Dzisiaj wstęp do usługi Data Lake Storage. Czyli ewolucja blob storage stworzona pod analizy narzędziami big data, ale nie tylko. Kilka słów o tym jak działa, pare demek i na koniec łączenie się z Databricks.

Źródło: youtu.be
Dziel się z innymi:
Azure Data Lake Storage (Gen 2) | Najlepsza usługa do składowania plików dla technologii big data

Cloud 1618 dni, 5 godzin, 9 minut temu AdamMarczak 30 źrodło rozwiń

Korzystanie z HDFS bardzo przypomina korzystanie ze zwykłego systemu plików z użyciem terminala. Grupy, uprawnienia, pliki, foldery itp. Bawiąc się kolejnymi technologiami Big Data można zapomnieć się i potraktować HDFS jak zwykły dysk.Dane W ostanim wpisie wspomniałem kilkanaście źródeł danych. Na jednym z nich znalazłem Enron Email Dataset. Jest to zbiór maili przedsiębiorstwa energetycznego Enron. Co takiego charakteryzuje ten zbiór? Zawiera dużo małych plików.Jak dużo? Ściągnąłem, rozpakowałem i wy...

Źródło: wiadrodanych.pl
Dziel się z innymi:
Problem małych plików w HDFS - Wiadro Danych

Bazy danych i XML 1640 dni, 4 godziny, 21 minut temu mszymczyk 36 źrodło rozwiń

Co to jest w ogóle Big Data? Słyszymy o systemach Big Data, technologiach Big Data, rozwiązaniach Big Data… a nawet o systemach klasy Big Data. Jest to trochę takie słowo wytrych, buzzword które nabrało popularności i się „sprzedaje”. Poniżej opisałem to co kryje się pod tym terminem według mnie. Termin Big Data najczęściej kojarzony jest z technologią Hadoop, czyli podejściem do rozproszonego przetwarzania danych wykorzystującego technikę MapReduce. Czy Hadoop to Big Data? Nie, nie tylko. Jak widać np....

Tagi: Big Data, hadoop
Źródło: wiadrodanych.pl
Dziel się z innymi:
Big Data to 3 słowa - Wiadro Danych

Inne 1692 dni, 5 godzin, 19 minut temu mszymczyk 68 źrodło rozwiń

Hadoop w .NET, czyli "word count" w wykonaniu F#, Hortonworks Data Platform i mono.

Tagi: F#, hadoop, mapreduce, mono
Źródło: ksmigiel.com
Dziel się z innymi:
Hadoop Streaming w F# - Krzysztof Śmigiel | Blog

Programowanie rozproszone 3367 dni, 14 godzin, 55 minut temu Krzysztof Śmigiel 141 źrodło rozwiń

Najaktywniejsi w tym miesiącu