使用Python進行網絡爬蟲培訓
Web Scraping是一種從網站提取數據然後將其保存到本地文件或數據庫的技術。
這種由講師指導的現場培訓(現場或遠程)面向希望使用Python自動化爬行許多網站以提取數據以進行處理和分析的開發人員。
在培訓結束時,參與者將能夠:
- 安裝和配置Python及所有相關套件。
- 檢索和解析存儲在多個網站中的數據。
- 了解網站的運作方式及其HTML的結構。
- 構建爬蟲以大規模爬取網頁。
- 使用Selenium爬取AJAX驅動的網頁。
課程格式
- 互動式講座和討論。
- 大量練習和實作。
- 在實時實驗環境中進行動手實作。
課程自定義選項
- 本課程假設學員具備編程知識。
- 如需為本課程定制培訓,請聯繫我們進行安排。
課程簡介
介紹
設置開發環境
Python 入門:數據結構、條件、文件處理等。
Python 網頁抓取套件:Scrapy 和 BeautifulSoup
網站如何運作
HTML 是如何構建的
發出 Web 請求
抓取 HTML 頁
使用 XPath 和 CSS
使用常規 Express離子過濾數據
創建網路爬蟲
使用 Selenium 抓取 AJAX 和 JavaScript 頁面。
網頁抓取最佳實踐
故障排除
總結和結論
最低要求
- Programming 經驗,最好是在 Python 方面。如果參與者具備 Python 以外的程式語言經驗,培訓可以擴展以包含更多 Python 的入門練習。
觀眾
- 開發人員
需要幫助選擇合適的課程嗎?
使用Python進行網絡爬蟲培訓 - 詢問
使用Python進行網絡爬蟲 - 咨詢詢問
咨詢詢問
客戶評論 (1)
Many different examples and topics has been covered, from basic investigation to login management and dynamic page management.
Daniele Tagliaferro - Creditsafe Italia Srl
課程 - Web Scraping with Python
相關課程
Scaling Data Analysis with Python and Dask
14 時間:這種以講師為主導的澳門現場培訓(現場或遠端)針對的是希望將Dask與Python生態系統一起使用以構建,擴展和分析大型數據集的數據科學家和軟體工程師。
在培訓結束時,參與者將能夠:
- 設置環境以開始使用 Dask 和 Python 構建大數據處理。
- 探索 Dask 中提供的功能、庫、工具和 API。
- 瞭解 Dask 如何在 Python 中加速並行計算。
- 瞭解如何使用 Dask 擴展 Python 生態系統(Numpy、SciPy 和 Pandas)。
- 優化 Dask 環境,以保持處理大型數據集的高性能。
Data Analysis in Python using Pandas and Numpy
14 時間:這是一個由講師指導的澳門(線上或線下)培訓課程,目標對象是希望提升數據分析與處理技能的中級Python開發人員和數據分析師,課程內容涵蓋Pandas和NumPy的使用。
在培訓結束時,學員將能夠:
- 設置包含Python、Pandas和NumPy的開發環境。
- 使用Pandas和NumPy創建數據分析應用。
- 執行高級的數據整理、排序和過濾操作。
- 進行聚合操作並分析時間序列數據。
- 使用Matplotlib和其他可視化庫進行數據可視化。
- 調試和優化數據分析代碼。
FARM(FastAPI、React 和 MongoDB)全棧開發
14 時間:這種以講師為主導的現場培訓(現場或遠端)面向希望使用FARM(FastAPI,React和MongoDB)堆棧構建動態,高性能和可擴展Web應用程式的開發人員。
在培訓結束時,參與者將能夠:
-
設置整合 FastAPI、React 和 MongoDB 的必要開發環境。
瞭解 FARM 堆疊的關鍵概念、功能和優勢。
瞭解如何使用FastAPI構建REST API。
瞭解如何使用 React 設計互動式應用程式。
使用 FARM 堆疊開發、測試和部署應用程式(前端和後端)。
使用Python和FastAPI開發API
14 時間:這種以講師為主導的澳門現場培訓(現場或遠端)面向希望將FastAPI與Python一起使用以更輕鬆,更快速地構建,測試和部署RESTful API的開發人員。
在培訓結束時,參與者將能夠:
- 設置必要的開發環境,以使用Python和FastAPI開發API。
- 使用FastAPI庫更快速、更輕鬆地創建API。
- 學習如何基於Pydantic和OpenAPI創建數據模型和模式。
- 使用SQLAlchemy將API連接到數據庫。
- 使用FastAPI工具在API中實現安全性和身份驗證。
- 構建容器鏡像並將Web API部署到雲端伺服器。
Machine Learning Fundamentals with Python
14 時間:本課程的目的是提供在實踐中應用Machine Learning方法的基本熟練程度。通過使用Python編程語言及其各種庫,並基於大量實際示例,本課程教授如何使用Machine Learning最重要的構建塊,如何制定數據建模決策,解釋算法的輸出和驗證結果。
我們的目標是讓您自信地理解和使用Machine Learning工具箱中最基本的工具,並避免Data Science應用程序的常見缺陷。
使用Python進行機器學習 – 4天
28 時間:本課程的目的是提供在實踐中應用機器學習方法的一般熟練程度。通過使用 Python 程式設計語言及其各種庫, 並基於大量的實際示例, 本課程教授如何使用機器學習最重要的構建塊, 如何做出資料建模決策, 解釋輸出並驗證結果
我們的目標是讓您能夠自信地理解和使用機器學習工具箱中最基本的工具, 並避免資料科學應用的常見陷阱。
使用Modin加速Python Pandas工作流
14 時間:這種由 講師指導的 澳門 現場現場培訓(在線或現場)面向希望使用 Modin 構建和實施並行計算的數據科學家和開發人員 Pandas 以加快數據分析速度。
在本次培訓結束時,參與者將能夠:
- 設置必要的環境,開始使用 Modin 大規模開發 Pandas 工作流。
- 瞭解 Modin 的功能、架構和優勢。
- 瞭解 Modin、Dask 和 Ray 之間的區別。
- 使用 Modin 更快地執行 Pandas 操作。
- 實現整個 Pandas API 和函數。
Python for Natural Language Generation
21 時間:在這場由講師指導的澳門線下培訓中,參與者將學習如何使用Python從頭開始構建自己的NLG系統,以生成高質量的自然語言文本。培訓還將探討案例研究,並將相關概念應用於生成內容的實驗室項目中。
在培訓結束時,參與者將能夠:
- 使用NLG自動生成各種行業的內容,從新聞、房地產到天氣和體育報導。
- 選擇和組織源內容,規劃句子,並準備系統以自動生成原創內容。
- 了解NLG流程,並在每個階段應用適當的技術。
- 了解Natural Language Generation (NLG)系統的架構。
- 實施最適合的分析和排序算法與模型。
- 從公開的數據源和策劃的數據庫中提取數據,作為生成文本的材料。
- 用計算機生成的自動化內容創建取代手動且繁瑣的寫作過程。
Advanced Machine Learning with Python
21 時間:在這個由 澳門 講師指導的現場培訓中,參與者將學習 Python 中最相關和最前沿的機器學習技術,同時構建一系列涉及圖像、音樂、文本和財務數據的演示應用程式。
在本次培訓結束時,參與者將能夠:
- 實施機器學習演算法和技術來解決複雜問題。
- 將深度學習和半監督學習應用於涉及圖像、音樂、文本和財務數據的應用程式。
- 將 Python 演算法推向最大潛力。
- 使用 NumPy 和 Theano 等庫和包。
Python: 自動化繁瑣任務
14 時間:這是一個由講師指導的現場培訓課程,地點位於澳門,基於Al Sweigart所著的暢銷書《用Python自動化無聊工作》。本課程針對初學者,透過實用的動手練習和討論,涵蓋了Python編程的基礎概念。重點在於學習編寫程式碼,以大幅提升辦公室生產力。
在培訓結束時,參與者將學會如何用Python編程,並將這項新技能應用於:
- 通過編寫簡單的Python程式來自動化任務。
- 編寫能夠使用「正則表達式」進行文本模式識別的程式。
- 以程式化方式生成和更新Excel試算表。
- 解析PDF和Word文件。
- 爬取網站並從線上來源提取資訊。
- 編寫發送電子郵件通知的程式。
- 使用Python的除錯工具快速解決程式錯誤。
- 以程式化方式控制滑鼠和鍵盤,自動點擊和輸入。
Python金融編程
35 時間:Python 是一種在金融行業中廣受歡迎的程式語言。它被大型投資銀行和對沖基金採用,用於構建各種金融應用程式,從核心交易程式到風險管理系統。
在這場由講師指導的現場培訓中,學員將學習如何使用 Python 開發實際應用程式,以解決一系列特定的金融相關問題。
培訓結束時,學員將能夠:
- 理解 Python 程式語言的基本原理
- 下載、安裝並維護用於在 Python 中創建金融應用程式的最佳開發工具
- 選擇並利用最合適的 Python 套件和程式技術來組織、可視化和分析來自各種來源(CSV、Excel、數據庫、網絡等)的金融數據
- 構建解決資產配置、風險分析、投資績效等問題的應用程式
- 對 Python 應用程式進行故障排除、集成、部署和優化
目標受眾
- 開發人員
- 分析師
- 量化分析師
課程形式
- 部分講授、部分討論、練習和大量實踐操作
注意事項
- 本培訓旨在為金融專業人員面臨的一些主要問題提供解決方案。如果您有特定的主題、工具或技術希望補充或進一步詳細說明,請聯繫我們進行安排。
高級Python - 4天
28 時間:在这个由讲师指导的澳門现场培训中,参与者将学习高级Python编程技术,包括如何应用这种通用语言来解决分布式应用程序,数据分析和可视化,UI编程和维护脚本等领域的问题。
Python 程式設計 - 4 天
28 時間:本課程專為希望學習Python編程語言的人設計。重點是Python語言,核心庫,以及Python社區開發的最好和最有用的庫的選擇。 Python推動了業務,並被世界各地的科學家使用 - 它是最流行的編程語言之一。
本課程可以使用最新的Python 3.x版本進行,並通過實踐練習充分發揮其功能。本課程可以在任何操作系統上進行(包括Linux和Mac OS X的所有UNIX版本,以及Microsoft Windows)。
實踐練習約佔課程時間的70%,約30%是演示和演示。整個課程都可以詢問討論和問題。
注意:在提議的課程日期之前,可根據事先要求定制培訓以滿足特定需求。
使用Selenium和Python進行測試自動化
14 時間:Selenium 是一個開源的框架,用於跨不同瀏覽器自動化Web Application Testing。Selenium 4 提供了增強的 WebDriver API、本地相對定位器和改進的網格支持。Python 以其簡潔性和與 Pytest 等測試框架的強大集成,成爲開發可擴展和可維護的測試自動化套件的強大選擇。
本次講師指導的培訓(線上或線下)面向初學者到中級水平的測試人員和開發人員,他們希望在實際環境中使用 Selenium 和 Python 自動化Web Application Testing。
培訓結束後,參與者將能夠:
- 在測試環境中安裝和配置 Selenium 與 Python。
- 使用 Selenium WebDriver 和 Pytest 構建穩健的測試自動化腳本。
- 應用頁面對象模型(POM)構建可維護的測試框架。
- 使用 Selenium Grid 在多個瀏覽器上運行測試。
- 將自動化測試集成到 CI/CD 流水線中。
- 解決常見問題並應用最佳實踐以確保自動化穩定性。
課程形式
- 互動式講座和討論。
- 大量練習和實踐。
- 在即時實驗室環境中進行實際操作。
課程定製選項
- 如需爲本課程定製培訓,請聯繫我們安排。
使用Python進行文本摘要
14 時間:在Python Machine Learning中,文本摘要功能能夠讀取輸入文本並生成文本摘要。此功能可通過命令行或Python API/庫使用。一個令人興奮的應用是快速創建執行摘要;這對於需要在生成報告和演示文稿之前審查大量文本數據的組織特別有用。
在這個由講師指導的現場培訓中,參與者將學習如何使用Python創建一個自動生成輸入文本摘要的簡單應用程序。
在培訓結束時,參與者將能夠:
- 使用命令行工具來總結文本。
- 使用Python庫設計和創建文本摘要代碼。
- 評估三個Python摘要庫:sumy 0.7.0、pysummarization 1.0.4、readless 1.0.17
觀眾
- 開發人員
- 數據科學家
課程形式
- 部分講座,部分討論,練習和大量的實踐練習