Web Scraping with Python培訓
Web Scraping是一種從網站提取數據然後將其保存到本地文件或數據庫的技術。
這種由講師指導的現場培訓(現場或遠程)面向希望使用Python自動化爬行許多網站以提取數據以進行處理和分析的開發人員。
在培訓結束時,參與者將能夠:
- 安裝和配置Python及所有相關套件。
- 檢索和解析存儲在多個網站中的數據。
- 了解網站的運作方式及其HTML的結構。
- 構建爬蟲以大規模爬取網頁。
- 使用Selenium爬取AJAX驅動的網頁。
課程格式
- 互動式講座和討論。
- 大量練習和實作。
- 在實時實驗環境中進行動手實作。
課程自定義選項
- 本課程假設學員具備編程知識。
- 如需為本課程定制培訓,請聯繫我們進行安排。
課程簡介
介紹
設置開發環境
Python 入門:數據結構、條件、文件處理等。
Python 網頁抓取套件:Scrapy 和 BeautifulSoup
網站如何運作
HTML 是如何構建的
發出 Web 請求
抓取 HTML 頁
使用 XPath 和 CSS
使用常規 Express離子過濾數據
創建網路爬蟲
使用 Selenium 抓取 AJAX 和 JavaScript 頁面。
網頁抓取最佳實踐
故障排除
總結和結論
最低要求
- Programming 經驗,最好是在 Python 方面。如果參與者具備 Python 以外的程式語言經驗,培訓可以擴展以包含更多 Python 的入門練習。
觀眾
- 開發人員
需要幫助選擇合適的課程嗎?
Web Scraping with Python培訓 - Enquiry
Web Scraping with Python - 咨詢詢問
咨詢詢問
客戶評論 (1)
Many different examples and topics has been covered, from basic investigation to login management and dynamic page management.
Daniele Tagliaferro - Creditsafe Italia Srl
Course - Web Scraping with Python
相關課程
BDD with Python and Behave
7 時間:這是一個由講師指導的現場培訓,首先將討論BDD(行為驅動開發)以及如何使用Behave框架來執行Web應用程式的BDD測試。參與者將有充分的機會與講師和同儕互動,並在實踐為主的實驗室環境中應用所學的概念和策略。
在培訓結束時,參與者將對BDD和Behave有深入的理解,並具備在實際測試場景中應用這些技術和工具的實踐經驗。
Scaling Data Analysis with Python and Dask
14 時間:這種以講師為主導的澳門現場培訓(現場或遠端)針對的是希望將Dask與Python生態系統一起使用以構建,擴展和分析大型數據集的數據科學家和軟體工程師。
在培訓結束時,參與者將能夠:
- 設置環境以開始使用 Dask 和 Python 構建大數據處理。
- 探索 Dask 中提供的功能、庫、工具和 API。
- 瞭解 Dask 如何在 Python 中加速並行計算。
- 瞭解如何使用 Dask 擴展 Python 生態系統(Numpy、SciPy 和 Pandas)。
- 優化 Dask 環境,以保持處理大型數據集的高性能。
Data Analysis in Python using Pandas and Numpy
14 時間:這是一個由講師指導的澳門(線上或線下)培訓課程,目標對象是希望提升數據分析與處理技能的中級Python開發人員和數據分析師,課程內容涵蓋Pandas和NumPy的使用。
在培訓結束時,學員將能夠:
- 設置包含Python、Pandas和NumPy的開發環境。
- 使用Pandas和NumPy創建數據分析應用。
- 執行高級的數據整理、排序和過濾操作。
- 進行聚合操作並分析時間序列數據。
- 使用Matplotlib和其他可視化庫進行數據可視化。
- 調試和優化數據分析代碼。
FARM (FastAPI, React, and MongoDB) Full Stack Development
14 時間:這種以講師為主導的現場培訓(現場或遠端)面向希望使用FARM(FastAPI,React和MongoDB)堆棧構建動態,高性能和可擴展Web應用程式的開發人員。
在培訓結束時,參與者將能夠:
-
設置整合 FastAPI、React 和 MongoDB 的必要開發環境。
瞭解 FARM 堆疊的關鍵概念、功能和優勢。
瞭解如何使用FastAPI構建REST API。
瞭解如何使用 React 設計互動式應用程式。
使用 FARM 堆疊開發、測試和部署應用程式(前端和後端)。
Developing APIs with Python and FastAPI
14 時間:這種以講師為主導的澳門現場培訓(現場或遠端)面向希望將FastAPI與Python一起使用以更輕鬆,更快速地構建,測試和部署RESTful API的開發人員。
在培訓結束時,參與者將能夠:
- 設置必要的開發環境,以使用Python和FastAPI開發API。
- 使用FastAPI庫更快速、更輕鬆地創建API。
- 學習如何基於Pydantic和OpenAPI創建數據模型和模式。
- 使用SQLAlchemy將API連接到數據庫。
- 使用FastAPI工具在API中實現安全性和身份驗證。
- 構建容器鏡像並將Web API部署到雲端伺服器。
Machine Learning Fundamentals with Python
14 時間:本課程的目的是提供在實踐中應用Machine Learning方法的基本熟練程度。通過使用Python編程語言及其各種庫,並基於大量實際示例,本課程教授如何使用Machine Learning最重要的構建塊,如何制定數據建模決策,解釋算法的輸出和驗證結果。
我們的目標是讓您自信地理解和使用Machine Learning工具箱中最基本的工具,並避免Data Science應用程序的常見缺陷。
Machine Learning with Python
28 時間:本課程的目的是提供在實踐中應用機器學習方法的一般熟練程度。通過使用 Python 程式設計語言及其各種庫, 並基於大量的實際示例, 本課程教授如何使用機器學習最重要的構建塊, 如何做出資料建模決策, 解釋輸出並驗證結果
我們的目標是讓您能夠自信地理解和使用機器學習工具箱中最基本的工具, 並避免資料科學應用的常見陷阱。
Accelerating Python Pandas Workflows with Modin
14 時間:這種由 講師指導的 澳門 現場現場培訓(在線或現場)面向希望使用 Modin 構建和實施並行計算的數據科學家和開發人員 Pandas 以加快數據分析速度。
在本次培訓結束時,參與者將能夠:
- 設置必要的環境,開始使用 Modin 大規模開發 Pandas 工作流。
- 瞭解 Modin 的功能、架構和優勢。
- 瞭解 Modin、Dask 和 Ray 之間的區別。
- 使用 Modin 更快地執行 Pandas 操作。
- 實現整個 Pandas API 和函數。
Python for Natural Language Generation
21 時間:在這場由講師指導的澳門線下培訓中,參與者將學習如何使用Python從頭開始構建自己的NLG系統,以生成高質量的自然語言文本。培訓還將探討案例研究,並將相關概念應用於生成內容的實驗室項目中。
在培訓結束時,參與者將能夠:
- 使用NLG自動生成各種行業的內容,從新聞、房地產到天氣和體育報導。
- 選擇和組織源內容,規劃句子,並準備系統以自動生成原創內容。
- 了解NLG流程,並在每個階段應用適當的技術。
- 了解Natural Language Generation (NLG)系統的架構。
- 實施最適合的分析和排序算法與模型。
- 從公開的數據源和策劃的數據庫中提取數據,作為生成文本的材料。
- 用計算機生成的自動化內容創建取代手動且繁瑣的寫作過程。
Unit Testing with Python
21 時間:在這個由講師指導的澳門現場培訓中,參與者將學習如何使用PyTest編寫簡短,可維護的測試,這些測試優雅,富有表現力和可讀性。
在培訓結束時,參與者將能夠:
- 編寫可讀且可維護的測試,無需樣板代碼。
- 使用夾具模型編寫小型測試。
- 將測試擴展到應用程式、包和庫的複雜功能測試。
- 瞭解並應用 PyTest 功能,例如鉤子、斷言重寫和外掛程式。
- 通過並行運行和跨多個處理器運行測試來縮短測試時間。
- 在持續集成環境中運行測試,以及其他實用程式,例如 tox、mock、coverage、unittest、doctest 和 Selenium。
- 使用 Python 測試非 Python 應用程式。
Advanced Machine Learning with Python
21 時間:在這個由 澳門 講師指導的現場培訓中,參與者將學習 Python 中最相關和最前沿的機器學習技術,同時構建一系列涉及圖像、音樂、文本和財務數據的演示應用程式。
在本次培訓結束時,參與者將能夠:
- 實施機器學習演算法和技術來解決複雜問題。
- 將深度學習和半監督學習應用於涉及圖像、音樂、文本和財務數據的應用程式。
- 將 Python 演算法推向最大潛力。
- 使用 NumPy 和 Theano 等庫和包。
Python: Automate the Boring Stuff
14 時間:這是一個由講師指導的現場培訓課程,地點位於澳門,基於Al Sweigart所著的暢銷書《用Python自動化無聊工作》。本課程針對初學者,透過實用的動手練習和討論,涵蓋了Python編程的基礎概念。重點在於學習編寫程式碼,以大幅提升辦公室生產力。
在培訓結束時,參與者將學會如何用Python編程,並將這項新技能應用於:
- 通過編寫簡單的Python程式來自動化任務。
- 編寫能夠使用「正則表達式」進行文本模式識別的程式。
- 以程式化方式生成和更新Excel試算表。
- 解析PDF和Word文件。
- 爬取網站並從線上來源提取資訊。
- 編寫發送電子郵件通知的程式。
- 使用Python的除錯工具快速解決程式錯誤。
- 以程式化方式控制滑鼠和鍵盤,自動點擊和輸入。
Advanced Python - 4 Days
28 時間:在这个由讲师指导的澳門现场培训中,参与者将学习高级Python编程技术,包括如何应用这种通用语言来解决分布式应用程序,数据分析和可视化,UI编程和维护脚本等领域的问题。
Python Programming
28 時間:本課程專為希望學習Python編程語言的人設計。重點是Python語言,核心庫,以及Python社區開發的最好和最有用的庫的選擇。 Python推動了業務,並被世界各地的科學家使用 - 它是最流行的編程語言之一。
本課程可以使用最新的Python 3.x版本進行,並通過實踐練習充分發揮其功能。本課程可以在任何操作系統上進行(包括Linux和Mac OS X的所有UNIX版本,以及Microsoft Windows)。
實踐練習約佔課程時間的70%,約30%是演示和演示。整個課程都可以詢問討論和問題。
注意:在提議的課程日期之前,可根據事先要求定制培訓以滿足特定需求。
Test Automation with Selenium and Python
14 時間:在這場講師指導的澳門線下培訓中,學員將結合Python與Selenium的強大功能,自動化測試一個範例Web應用程式。透過在實境實驗環境中結合理論與實踐,學員將掌握使用Python和Selenium自動化其Web測試專案所需的知識與技能。