SMACK Stack for Data Science培訓
SMACK 是数据平台软件的集合,即 Apache Spark, Apache Mesos, Apache Akka, Apache Cassandra, 和 Apache Kafka。 使用 SMACK 插槽,用户可以创建和规模数据处理平台。
这项由导师领导的直播培训(在线或在线)是针对数据科学家,他们希望使用SMACK stack来构建大数据解决方案的数据处理平台。
在本研讨会结束后,参与者将能够:
- 实施大数据处理的数据管道架构。
- 建立一个集群基础设施与(6)和(1)。
- 用 Spark 和 Scala 分析数据。
- 使用 Apache 管理未结构化数据(0)。
课程格式
- 互动讲座和讨论。
- 很多练习和练习。
- 在现场实验室环境中进行手动实施。
课程定制选项
- 要申请此课程的定制培训,请联系我们安排。
課程簡介
介紹
SMACK Stack 概述
- 什麼是 Apache Spark?Apache Spark 功能
- 什麼是 Apache Mesos?Apache Mesos 特性
- 什麼是 Apache Akka?Apache Akka 功能
- 什麼是 Apache Cassandra?Apache Cassandra 特性
- 什麼是 Apache Kafka?Apache Kafka 特性
Scala 語言
- Scala 語法和結構
- Scala 控制流程
準備開發環境
- 安裝和配置 SMACK 堆疊
- 安裝和設定 Docker
阿帕奇 Akka
- 使用執行元件
阿帕奇 Cassandra
- 創建用於讀取操作的資料庫
- 使用備份和恢復
連接
- 創建流
- 構建 Akka 應用程式
- 使用 Cassandra 儲存數據
- 查看連接器
Apache Kafka
- 使用集群
- 創建、發佈和使用消息
Apache Mesos
- 分配資源
- 運行集群
- 使用 Apache Aurora 和 Docker
- 運行服務和作業
- 在 Mesos 上部署 Spark、Cassandra 和 Kafka
Apache Spark
- 管理數據流
- 使用 RDD 和數據幀
- 執行數據分析
故障排除
- 處理服務故障和錯誤
總結和結論
最低要求
- 瞭解數據處理系統
觀眾
- 數據科學家
需要幫助選擇合適的課程嗎?
SMACK Stack for Data Science培訓 - Enquiry
SMACK Stack for Data Science - 咨詢詢問
咨詢詢問
客戶評論 (1)
very interactive...
Richard Langford
Course - SMACK Stack for Data Science
相關課程
Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
21 時間:本課程面向希望在其應用程式中理解和實施人工智慧的開發人員和數據科學家。 特別關注數據分析、分散式人工智慧和自然語言處理。
Anaconda Ecosystem for Data Scientists
14 時間:這種由 講師指導的 澳門 現場培訓(在線或現場)面向希望使用 Anaconda 生態系統在單一平臺中捕獲、管理和部署軟體包和數據分析工作流 的數據科學家。
在本次培訓結束時,參與者將能夠:
- 安裝和配置 Anaconda 個元件和庫。
- 瞭解 Anaconda 的核心概念、功能和優勢。
- 使用 Anaconda Navigator 管理包、環境和頻道。
- 將 Conda、R 和 Python 包用於數據科學和機器學習。
- 瞭解管理多個數據環境的一些實際使用案例和技術。
Big Data Business Intelligence for Telecom and Communication Service Providers
35 時間:概述
服务提供商(CSP)面临压力,以降低成本,最大限度地提高用户平均收入(ARPU),同时确保优秀的客户体验,但数据量仍在增长。 到2016年,全球移动数据流量将以78%的合并年增长率(CAGR)增长,每月达到10.8 exabytes。
与此同时,CSP正在产生大量的数据,包括呼叫细节记录(CDR),网络数据和客户数据。 充分利用这些数据的公司获得了竞争优势。 根据The Economist Intelligence Unit最近的一项调查,使用数据导向决策的公司享有5至6%的生产力增长。 然而,53%的公司只利用其有价值的数据的一半,其中四分之一的受访者指出,大量有用的数据正在失去。 数据量如此高,以至于手动分析是不可能的,而大多数遗产软件系统无法保持,导致有价值的数据被忽略或忽略。
使用高速可扩展的大数据软件,CSP 可以在更短的时间内挖掘所有数据,以便在更短的时间内做出更好的决策。 不同 Big Data 产品和技术提供一个终端软件平台,以收集,准备,分析和展示来自大数据的洞察力。 应用领域包括网络性能监测、欺诈检测、客户端检测和信用风险分析。 Big Data 分析产品规模处理数据的特拉比特,但这些工具的实施需要新的类型的基于云的数据库系统,如(3)或大规模平行计算处理器(KPU等)。
该课程工作在 Big Data BI for Telco 覆盖了所有新兴的领域,在这些领域,CSP 正在投资,以提高生产力,并打开新的业务收入流。 该课程将提供一个完整的360学位的视图 Big Data BI在Telco,以便决策者和管理人员可以有一个非常广泛和全面的概述的可能性 Big Data BI在Telco的生产力和收入收益。
课程目标
该课程的主要目标是引入4个领域的新(0)商业智能技术(9)(Marketing/销售、网络运营、金融运营和客户关系(4))。 学生将被介绍为如下:
- 引入 Big Data - 什么是 4Vs (容量,速度,多样性和可靠性) 在 Big Data - 从 Telco 视角的发行,提取和管理
- 如何分析与遗产数据分析不同
- 内部正当化 Big Data -Telco 视角
- 引入 Hadoop 生态系统 - 熟悉所有 Hadoop 工具,如 Hive, 猪, SPARC –什么时候和如何使用它们来解决 Big Data 问题
- 如何 Big Data 被提取到分析分析工具 - 如何 Business Analysis’s 可以通过集成 Hadoop 板块方法来减少数据收集和分析的疼痛点
- 基础介绍 Insight 分析、视觉分析和预测分析为 Telco
- 客户评估分析和如何评估分析可以在Telco案例研究中减少客户评估和客户不满
- 网络故障和服务故障分析来自网络 meta 数据和 IPDR
- 财务分析 - 欺诈、欺诈和从销售和运营数据中获得的ROI估计
- 客户收购问题 - 目标营销,客户分区和从销售数据中交叉销售
- 介绍和概述所有 Big Data 分析产品以及它们适合在 Telco 分析空间的位置
- 结论 - 如何采取一步一步的方法来引入 Big Data Business Intelligence 在您的组织
目标观众
- 网络运营,财务经理,CRM经理和Telco CIO办公室的顶级IT经理。
- Business 分析师在 Telco
- CFO办公室经理/分析师
- 运营经理
- QA管理员
Data Science Programme
245 時間:当今世界信息和数据的爆炸式增长是无与伦比的,我们创新和突破可能性的能力比以往任何时候都快。数据科学家的角色是当今整个行业最需要的技能之一。
我们提供的不仅仅是通过理论学习;我们提供实用的、适销对路的技能,弥合学术界与工业界需求之间的差距。
这个为期 7 周的课程 可以根据您的特定行业要求进行定制,请联系我们了解更多信息或访问 Nobleprog Institute 网站
观众:
该课程面向研究生以及任何具有所需必备技能的人 ,这些技能将通过评估和面试确定。
交货:
该课程的交付将采用讲师指导的课堂和讲师 指导的在线课程;通常,第 1 周是“课堂主导”,第 2 周 - 第 6 周是“虚拟课堂”,第 7 周是“课堂主导”。
Data Science for Big Data Analytics
35 時間:大數據是如此龐大和復雜的數據集,傳統的數據處理應用軟件不足以處理它們。大數據挑戰包括捕獲數據,數據存儲,數據分析,搜索,共享,傳輸,可視化,查詢,更新和信息隱私。
Introduction to Graph Computing
28 時間:在這個由 澳門 的講師指導式現場培訓中,參與者將瞭解用於處理圖形數據的技術產品和實施方法。目的是識別現實世界的物件、它們的特徵和關係,然後對這些關係進行建模,並使用 Graph Computing(也稱為圖形分析)方法將它們作為數據處理。我們從廣泛的概述開始,然後逐步完成一系列案例研究、動手練習和即時部署,然後縮小具體工具的範圍。
在本次培訓結束時,參與者將能夠:
- 瞭解如何持久保存和遍歷圖形數據。
- 為給定任務選擇最佳框架(從圖形資料庫到批處理框架)。
- 實現 Hadoop、Spark GraphX 和 Pregel 以跨多台機器並行執行圖計算。
- 從圖形、流程和遍歷的角度查看真實的大數據問題。
Jupyter for Data Science Teams
7 時間:This instructor-led, live training in 澳門 (online or onsite) introduces the idea of collaborative development in data science and demonstrates how to use Jupyter to track and participate as a team in the "life cycle of a computational idea". It walks participants through the creation of a sample data science project based on top of the Jupyter ecosystem.
By the end of this training, participants will be able to:
- Install and configure Jupyter, including the creation and integration of a team repository on Git.
- Use Jupyter features such as extensions, interactive widgets, multiuser mode and more to enable project collaboraton.
- Create, share and organize Jupyter Notebooks with team members.
- Choose from Scala, Python, R, to write and execute code against big data systems such as Apache Spark, all through the Jupyter interface.
Kaggle
14 時間:這個由 講師指導的 澳門 現場培訓(在線或現場)面向希望在 Data Science 中使用 Kaggle 學習和建立職業生涯的數據科學家和開發人員。
在本次培訓結束時,參與者將能夠:
- 了解數據科學和機器學習。
- 探索數據分析。
- 瞭解 Kaggle 及其工作原理。
MATLAB Fundamentals, Data Science & Report Generation
35 時間:在本培訓的第一部分,我們將介紹 MATLAB 的基礎知識及其作為語言和平臺的功能。 本次討論包括對 MATLAB 語法、陣列和矩陣、數據可視化、腳本開發和面向對象原則的介紹。
在第二部分中,我們將演示如何使用 MATLAB 進行數據挖掘、機器學習和預測分析。為了向參與者提供一個清晰而實用的視角來瞭解 MATLAB 的方法和能力,我們將使用 MATLAB 與使用其他工具(如電子表格、C、C++ 和 Visual Basic)進行比較。
在培訓的第三部分,參與者學習如何通過自動化數據處理和報告生成來簡化他們的工作。
在整個課程中,參與者將通過實驗室環境中的實踐練習將學到的想法付諸實踐。在培訓結束時,參與者將全面掌握 MATLAB 的能力,並能夠利用它來解決現實世界的數據科學問題,以及通過自動化來簡化他們的工作。
將在整個課程中進行評估,以衡量進展情況。
課程形式
- 課程包括理論和實踐練習,包括案例討論、示例代碼檢查和動手實施。
注意
- 實踐課程將基於預先安排的樣本數據報告範本。如果您有具體要求,請聯繫我們安排。
Accelerating Python Pandas Workflows with Modin
14 時間:這種由 講師指導的 澳門 現場現場培訓(在線或現場)面向希望使用 Modin 構建和實施並行計算的數據科學家和開發人員 Pandas 以加快數據分析速度。
在本次培訓結束時,參與者將能夠:
- 設置必要的環境,開始使用 Modin 大規模開發 Pandas 工作流。
- 瞭解 Modin 的功能、架構和優勢。
- 瞭解 Modin、Dask 和 Ray 之間的區別。
- 使用 Modin 更快地執行 Pandas 操作。
- 實現整個 Pandas API 和函數。
Python Programming for Finance
35 時間:Python 是一種在金融行業中廣受歡迎的程式語言。它被大型投資銀行和對沖基金採用,用於構建各種金融應用程式,從核心交易程式到風險管理系統。
在這場由講師指導的現場培訓中,學員將學習如何使用 Python 開發實際應用程式,以解決一系列特定的金融相關問題。
培訓結束時,學員將能夠:
- 理解 Python 程式語言的基本原理
- 下載、安裝並維護用於在 Python 中創建金融應用程式的最佳開發工具
- 選擇並利用最合適的 Python 套件和程式技術來組織、可視化和分析來自各種來源(CSV、Excel、數據庫、網絡等)的金融數據
- 構建解決資產配置、風險分析、投資績效等問題的應用程式
- 對 Python 應用程式進行故障排除、集成、部署和優化
目標受眾
- 開發人員
- 分析師
- 量化分析師
課程形式
- 部分講授、部分討論、練習和大量實踐操作
注意事項
- 本培訓旨在為金融專業人員面臨的一些主要問題提供解決方案。如果您有特定的主題、工具或技術希望補充或進一步詳細說明,請聯繫我們進行安排。
GPU Data Science with NVIDIA RAPIDS
14 時間:這種以講師為主導的澳門現場培訓(現場或遠端)針對希望使用RAPIDS構建GPU加速數據管道,工作流和可視化的數據科學家和開發人員,應用機器學習演算法,如XGBoost,cuML等。
在培訓結束時,參與者將能夠:
- 設置必要的開發環境以使用 NVIDIA RAPIDS 構建數據模型。
- 瞭解 RAPIDS 的特性、元件和優勢。
- 利用 GPU 加速端到端數據和分析管道。
- 使用 cuDF 和 Apache Arrow 實現 GPU 加速的數據準備和 ETL。
- 瞭解如何使用 XGBoost 和 cuML 演算法執行機器學習任務。
- 使用 cuXfilter 和 cuGraph 構建數據可視化並執行圖形分析。
Python and Spark for Big Data (PySpark)
21 時間:在這個由講師指導的 澳門 現場培訓中,參與者將學習如何在動手練習中同時使用 Python 和 Spark 來分析大數據。
在培訓結束時,參與者將能夠:
- 瞭解如何將Spark與 Python 結合使用來分析 Big Data。
- 進行模仿真實世界案例的練習。
- 使用 PySpark 使用不同的工具和技術進行大數據分析。
Apache Spark MLlib
35 時間:MLlib是Spark的機器學習(ML)庫。其目標是使實用的機器學習可擴展且簡單。它由常見的學習算法和實用程序組成,包括分類,回歸,聚類,協同過濾,降維,以及低級優化原語和更高級別的管道API。
它分為兩個包:
spark.mllib包含在RDD之上構建的原始API。
spark.ml提供了構建在DataFrame之上的更高級API,用於構建ML管道。
聽眾
本課程面向希望利用Apache Spark內置機器庫的工程師和開發人員
Data Science: Analysis and Presentation
7 時間:Wolfram 系統的整合環境使其成為分析和呈現數據的高效工具。本課程涵蓋與分析相關的 Wolfram 語言的各個方面,包括統計計算、可視化、數據導入和導出以及報告的自動生成。