Когда речь заходит о больших данных, считается, чтобы ладить с большим массивом данных, знания математики должны быть высоком уровне. Конечно, изучение больших данных действительно нуждается в определенной математической основе, но есть и определенная направленность.
Большие данные имеют много подразделяемых направлений, таких как: разработка больших данных, анализ больших данных, интеллектуальный анализ больших данных, эксплуатация и обслуживание больших данных. Требования к математике в разных направлениях различны, но иметь определенную математическую основу.
1. Теория вероятностей и математическая статистика
Эта часть взаимосвязана с развитием технологий больших данных очень тесно пересекается с условной вероятностью, независимостью и другими основные понятиями. Случайные величины и их распределение, многомерные случайные величины и их распределение, дисперсионный и регрессионный анализ, случайные процессы, оценка параметров, теория Байеса очень важны в моделировании больших данных. Большие данные обладают естественными многомерными характеристиками, проектирование и анализ моделей данных в многомерном пространстве требует определенной основы для многомерных случайных величин и их распределения. Теорема Байеса является одной из основ построения классификатора. Помимо этих базовых знаний, условное случайное поле CRF, скрытая Марковская модель, n-грамм и т. д. В анализе больших данных могут быть использованы для анализа лексики, текста, могут быть использованы для построения прогностической классификационной модели.
Конечно, теория информации, основанная на теории вероятностей, также играет определенную роль в анализе больших данных, таких как получение информации, взаимная информация и другие методы анализа признаков являются концепцией теории информации внутри.
2. Линейная алгебра
Эта часть взаимосвязи между математическими знаниями и развитием технологий больших данных. Также очень близки матрицы, транспонирование, ранговые блочные матрицы, векторы, ортогональные матрицы, векторные пространства, собственные значения и собственные векторы в моделировании больших данных, анализе также широко используются технические средства.
В сети «Интернет» больших данных многие объекты анализа сценариев приложений могут быть абстрагированы в матричное представление, большое количество WEB-страниц и их отношений, пользователи микроблогов и их отношения, отношения между текстом и словарным набором текста могут быть представлены матрицей. Например, когда WEB - страница и ее связь представлены матрицей, элемент матрицы представляет связь между страницей A и другой страницей b, эта связь может быть точкой связи, 1 представляет гиперссылку между A и B, 0 не представляет гиперссылки между A, B. Знаменитый алгоритм PageRank основан на этой матрице для количественной оценки важности страницы и доказательства ее сходимости.
Различные операции на основе матрицы, такие как декомпозиция матрицы, являются способом анализа извлечения признаков объекта, поскольку матрица представляет собой преобразование или отображение, поэтому матрица, полученная после декомпозиции, представляет некоторые новые признаки объекта анализа в новом пространстве. Поэтому сингулярная декомпозиция SVD, PCA, NMF, MF и другие приложения в анализе больших данных очень широки.
3. Оптимизационных методов
Обучение модели обучения — это множество аналитических моделей интеллектуального анализа данных, используемых для решения параметров способа. Метод оптимизации зависит от формы функции, с текущей точки зрения, метод оптимизации обычно основан на дифференциальных, производных методах, таких как градиентный спуск, метод восхождения, метод наименьших квадратов, метод сопряженного распределения.
4. Дискретная математика
Важность дискретной математики очевидна, она является основой всех отраслей информатики и, естественно, важной основой для технологии больших данных.
Большие данные тихо меняют наш мир, поисковые системы, транспорт, финансовый анализ, медицину и здравоохранение, потребление развлечений, интеллектуальный анализ данных и другие области.
1. По ФГОСВсе мероприятия на нашем портале проводятся строго в соответствии с действующим законодательством и ФГОС
2. БыстроРезультаты олимпиад доступны моментально. Результаты участия в творческом конкурсе или публикации статей – в течение 1 рабочего дня
3. ЧестноУчастие в любом конкурсе – бесплатное. Вы оплачиваете изготовление документа только когда знаете результат
