7. Параллельные и распределенные вычисления Big Data. HDFS

В технологиях Big Data используются параллельные и распределённые вычисления, а также распределённая файловая система HDFS (Hadoop Distributed File System). Эти понятия связаны с обработкой больших объёмов данных, которые не могут быть обработаны на одном компьютере. Параллельные вычисления — это использование нескольких процессоров или вычислительных ядер для параллельного выполнения одной задачи. Благодаря этому сокращается общее время обработки. В Big Data для параллельных вычислений используется, например, модель MapReduce. Она разделяет информационный массив на части, параллельно обрабатывает каждую часть на отдельном узле и объединяет все результаты. Распределенные вычисления Распределённые вычисления — это процесс обработки данных и выполнения задач, которые распределены между несколькими вычислительными узлами (компьютерами), соединёнными в единую сеть. Эти узлы могут физически находиться в различных местах, но работать совместно для выполнения общей задачи. Принцип работы: большие и сложные задачи, которые трудно или невозможно выполнить на одном компьютере, можно разбить на более мелкие части и распределить между несколькими узлами. Каждый узел обрабатывает свою часть задачи параллельно с другими, что ускоряет процесс. HDFS — это распределённая файловая система, предназначенная для хранения больших массивов данных в распределённой среде (в рамках кластера из нескольких узлов). Особенности: Разбивает файлы на небольшие блоки и хранит их на разных узлах в...