★☆★☆★ 獨傢解析知名大數據專案，FinMind，帶你一窺大數據產品的發展過程，打造專屬個人的大數據 Side Project、作品、產品 ★☆★☆★
本書承襲第一版的精彩內容，分享在 Github 獲得 1,900 stars 的大數據 Side Project，並幫助讀者從 0 開始，打造專屬個人的大數據 Side Project。
精彩收錄：
【資料工程】
○ 使用分散式技術，RabbitMQ、Flower、Celery，收集證交所、櫃買中心、期交所等股市資訊。
○ 使用 Docker、FastAPI 架設 RESTful API 服務。
○ 使用 Docker Swarm 架設分散式服務，包含爬蟲、RESTful API、資料庫 MySQL、RabbitMQ 等服務。
○ 使用雲端服務，一個月 5 美金，且免費提供 100 美金額度。
○ 一站式管理多颱分散式機器。
○ 使用業界等級的，分散式 Airflow。
【產品迭代】
○ 單元測試 Unit Test 介紹，包含爬蟲、API 測試範例。
○ 使用 CICD 做持續性整閤、部屬，並以 Gitlab-CI 搭配 API 服務做為範例。
【API 產品上線】
○ 免費網址申請教學，No-IP。
○ 免費 SSL 憑證教學，Let's Encrypt。
○ 一站式管理多服務網址，容器化反嚮代理工具 Traefik。
【業界資料視覺化工具】
○ 使用 Redash 建立個人化、股市分析儀錶闆。
【監控係統】
○ 使用最知名的監控工具，Prometheus、Grafana，同時監控所有服務。
讀完本書，你將學會分散式爬蟲、RESTful API、MySQL 資料庫、壓力測試、Docker Swarm、CICD、雲端、Traefik、Redash 視覺化、分散式 Airflow、監控係統 Prometheus、Grafana 等，本書是一本集大成的作品。
※本書程式實例可至深智官網下載deepwisdom.com.tw
圖書描述
跨越數據鴻溝：麵嚮未來的數據架構與實踐 數據，已不再是簡單的信息堆砌，而是驅動商業決策、塑造技術未來的核心引擎。 本書旨在深入剖析當前數據技術棧的核心脈絡，聚焦於如何構建健壯、高效且可擴展的數據基礎設施，以支撐復雜業務場景下的數據驅動型創新。我們摒棄對單一工具的淺嘗輒止，轉而構建一個宏觀的、麵嚮工程實踐的數據全景圖。 本書的重點是數據架構的演進與重塑。我們將首先迴顧傳統數據倉庫（Data Warehouse, DW）的局限性，並係統地引入現代數據架構的核心範式——數據湖（Data Lake）的構建原則。這不僅關乎存儲的物理形態，更在於如何有效地管理海量、多源、異構的數據資産。我們將詳細闡述數據湖的存儲選型考量，包括但不限於對象存儲的特性、成本效益分析，以及如何建立起清晰的數據分層策略，從原始數據區（Raw Zone）到精煉數據區（Curated Zone），確保數據的可用性與可信度。 緊接著，我們將深入探討批處理與流處理的融閤之道。在實時性需求日益迫切的今天，數據管道的設計必須能夠無縫地處理曆史數據（Batch）和實時事件（Stream）。本書將用大量篇幅講解Lambda架構與Kappa架構的設計哲學，對比它們在實現復雜性、延遲容忍度以及運維成本上的差異。特彆是，我們將重點剖析如何利用流處理框架（如基於Apache Flink或Kafka Streams）來構建事件驅動型的數據應用，實現秒級甚至毫秒級的業務響應能力。 數據治理（Data Governance）是現代數據平颱的基石。 一個高效的數據平颱，必須建立在數據質量（Data Quality）、數據血緣（Data Lineage）和元數據管理（Metadata Management）的堅實基礎之上。本書將詳細闡述如何設計和實施自動化數據質量檢查流程，確保數據輸入端的準確性。同時，我們將探討如何運用數據編目工具（Data Cataloging Tools）來記錄數據的“誰、何時、何地、如何”被使用，為數據溯源和閤規性審計提供強有力的技術支撐。 在數據計算引擎的選擇與優化方麵，本書將提供一個橫嚮的對比分析。我們不會局限於某一特定框架，而是聚焦於不同計算模型（如MPP、分布式內存計算、嚮量化執行）的適用場景。重點討論下一代SQL查詢引擎（如Trino/Presto的原理），以及如何針對不同工作負載（OLAP分析、Ad-hoc查詢）優化計算資源配置，實現性能的最大化和成本的最小化。 雲原生數據平颱的構建是當前技術棧的必然趨勢。本書將探討如何將數據基礎設施“容器化”和“雲化”。從Kubernetes在數據服務中的應用，到Serverless架構在數據ETL/ELT任務中的實踐，我們將展示如何利用彈性伸縮的能力，應對數據流量的劇烈波動。這包括對雲廠商提供的托管數據服務進行評估，以及如何在多雲或混閤雲環境中設計統一的數據訪問層。 麵嚮應用層的數據服務化是數據價值變現的關鍵環節。本書探討瞭如何將清洗和轉換後的數據，以高效、低延遲的方式提供給下遊應用。我們將深入講解數據服務層（Serving Layer）的設計，包括OLAP Cube的預計算策略，以及如何利用NoSQL數據庫或Graph數據庫來支持特定的業務查詢需求。此外，還將涉及特徵平颱（Feature Store）的概念，它是連接數據工程和機器學習模型部署的橋梁，確保訓練和推理階段特徵的一緻性。 最後，本書還將觸及數據安全與閤規性的工程實現。數據脫敏、加密存儲、訪問控製（如基於角色的訪問控製RBAC）在數據生命周期中的嵌入點，以及如何通過技術手段滿足GDPR、CCPA等全球數據隱私法規的要求，都將作為重要的工程實踐進行闡述。 本書緻力於為架構師、資深數據工程師以及技術管理者提供一套係統化、可落地的現代數據工程方法論和實踐指南，幫助讀者構建麵嚮未來十年業務增長需求的數據基礎設施。這不是一本操作手冊，而是一張指引數據技術戰略方嚮的地圖。
著者信息
作者簡介
林子軒
Sam，目前任職 17 LIVE 資料工程師。擅長資料工程、資料分析，希望對Python 社群、大數據領域，提供一份心力。
【經歷】
●17 LIVE 資深資料工程師。
●曾任職永豐金證券，軟體工程師。
●曾於 Open UP Summit 2019，擔任 Speaker。
●曾任職 Tripresso，資料工程師。
●東華研究所，應用數學碩士。
【FinMind】
●github.com/FinMind/FinMind
●finmindtrade.com/
【個人 GitHub】
●github.com/linsamtw
【Email】
● samlin266118@gmail.com
如對本書有疑問，歡迎寄信到以上信箱。筆者除瞭本書內容外，GitHub 上也有寫文章介紹，兩篇 Kaggle 競賽經驗，分別是生產線分析、庫存需求預設，如對以上有興趣，也可寄信到以上信箱。
林子軒
Sam，目前任職 17 LIVE 資料工程師。擅長資料工程、資料分析，希望對Python 社群、大數據領域，提供一份心力。
【經歷】
●17 LIVE 資深資料工程師。
●曾任職永豐金證券，軟體工程師。
●曾於 Open UP Summit 2019，擔任 Speaker。
●曾任職 Tripresso，資料工程師。
●東華研究所，應用數學碩士。
【FinMind】
●github.com/FinMind/FinMind
●finmindtrade.com/
【個人 GitHub】
●github.com/linsamtw
【Email】
● samlin266118@gmail.com
如對本書有疑問，歡迎寄信到以上信箱。筆者除瞭本書內容外，GitHub 上也有寫文章介紹，兩篇 Kaggle 競賽經驗，分別是生產線分析、庫存需求預設，如對以上有興趣，也可寄信到以上信箱。
圖書目錄
【第1 篇 資料工程 ETL】
01 本書介紹
02 開發環境
2.1 開發環境重要性
2.2 Linux 作業係統
2.3 Windows 作業係統
2.4 Mac 作業係統
2.5 Python 開發工具 VS Code
03 Docker
3.1 為什麼先介紹 Docker ？
3.2 什麼是 Docker ？
3.3 安裝 Docker
3.4 安裝 Docker-Compose
04 雲端
4.1 為什麼要用雲端？
05 資料收集
5.1 Python 環境設置
5.2 爬蟲
5.3 資料庫架設
5.4 上傳資料到資料庫
5.5 分散式爬蟲
5.6 定時爬蟲
06 資料提供—RESTful API 設計
6.1 什麼是 API ？
6.2 輕量 API --- Flask
6.3 高效能 API --- FastAPI
07 容器管理工具 Docker
7.1 為什麼要用 Docker
7.2 建立第一個Docker Image --- Dockerfile
7.3 發布 Docker Image
7.4 雲端部屬
7.5 Docker Swarm
7.6 部屬服務
【第2 篇 產品迭代-- 測試運維】
08 自動化測試
8.1 單元測試 Unit Test
09 CICD 持續性整閤、部屬
9.1 什麼是 CICD ？
9.2 CI 持續性整閤
9.3 Gitlab-CI、以爬蟲專案為例
9.4 Gitlab-CI，建立 Docker Image
9.5 Gitlab-CI，部屬新版本
9.6 Gitlab-CI、以 API 專案為例
9.7 總結
【第3 篇 API 產品上線】
10 API 服務網址
10.1 為什麼需要網址？
10.2 No-Ip 免費的網址申請
10.3 Let's Encrypt 免費的 SSL 憑證
10.4 Traefik
10.5 API 結閤Traefik
10.6 總結
【第4 篇 資料視覺化】
11 視覺化工具
11.1 什麼是視覺化？
11.2 Redash
11.3 Redash 帳號設定
11.4 資料庫連接
11.5 匯入資料
11.6 製作第一個圖錶
11.7 第一個 Dashboard
11.8 設定下拉式選單
11.9 其他 BI 工具
【第5 篇 排程管理工具】
12 排程管理工具 - Apache Airflow
12.1 事前準備
12.2 什麼是排程管理工具？
12.3 為什麼選擇 Airflow ？
12.4 什麼是 Airflow ？
12.5 架設第一個 Airflow
12.6 DAG 介紹
12.7 常見 Operator 介紹
12.8 Airflow 結閤爬蟲 - CeleryExecutor
12.9 結論
13 Redis 介紹
13.1 什麼是 Redis ？
13.2 使用Docker 架設Redis - 結閤 Celery
【第6 篇 監控係統】
14 監控工具介紹
14.1 為什麼需要監控係統？
14.2 最知名的開源監控係統之一
14.3 架設個人化監控儀錶闆
14.4 總結
15 結論
01 本書介紹
02 開發環境
2.1 開發環境重要性
2.2 Linux 作業係統
2.3 Windows 作業係統
2.4 Mac 作業係統
2.5 Python 開發工具 VS Code
03 Docker
3.1 為什麼先介紹 Docker ？
3.2 什麼是 Docker ？
3.3 安裝 Docker
3.4 安裝 Docker-Compose
04 雲端
4.1 為什麼要用雲端？
05 資料收集
5.1 Python 環境設置
5.2 爬蟲
5.3 資料庫架設
5.4 上傳資料到資料庫
5.5 分散式爬蟲
5.6 定時爬蟲
06 資料提供—RESTful API 設計
6.1 什麼是 API ？
6.2 輕量 API --- Flask
6.3 高效能 API --- FastAPI
07 容器管理工具 Docker
7.1 為什麼要用 Docker
7.2 建立第一個Docker Image --- Dockerfile
7.3 發布 Docker Image
7.4 雲端部屬
7.5 Docker Swarm
7.6 部屬服務
【第2 篇 產品迭代-- 測試運維】
08 自動化測試
8.1 單元測試 Unit Test
09 CICD 持續性整閤、部屬
9.1 什麼是 CICD ？
9.2 CI 持續性整閤
9.3 Gitlab-CI、以爬蟲專案為例
9.4 Gitlab-CI，建立 Docker Image
9.5 Gitlab-CI，部屬新版本
9.6 Gitlab-CI、以 API 專案為例
9.7 總結
【第3 篇 API 產品上線】
10 API 服務網址
10.1 為什麼需要網址？
10.2 No-Ip 免費的網址申請
10.3 Let's Encrypt 免費的 SSL 憑證
10.4 Traefik
10.5 API 結閤Traefik
10.6 總結
【第4 篇 資料視覺化】
11 視覺化工具
11.1 什麼是視覺化？
11.2 Redash
11.3 Redash 帳號設定
11.4 資料庫連接
11.5 匯入資料
11.6 製作第一個圖錶
11.7 第一個 Dashboard
11.8 設定下拉式選單
11.9 其他 BI 工具
【第5 篇 排程管理工具】
12 排程管理工具 - Apache Airflow
12.1 事前準備
12.2 什麼是排程管理工具？
12.3 為什麼選擇 Airflow ？
12.4 什麼是 Airflow ？
12.5 架設第一個 Airflow
12.6 DAG 介紹
12.7 常見 Operator 介紹
12.8 Airflow 結閤爬蟲 - CeleryExecutor
12.9 結論
13 Redis 介紹
13.1 什麼是 Redis ？
13.2 使用Docker 架設Redis - 結閤 Celery
【第6 篇 監控係統】
14 監控工具介紹
14.1 為什麼需要監控係統？
14.2 最知名的開源監控係統之一
14.3 架設個人化監控儀錶闆
14.4 總結
15 結論
圖書序言
- ISBN：9786267273739
- 規格：平裝 / 592頁 / 17 x 23 x 2.66 cm / 普通級 / 單色印刷 / 二版
- 齣版地：颱灣
- 本書分類：電腦資訊> 程式設計/APP開發> Python
圖書試讀
作者序
✤ 大數據如何入門？
大數據的時代，各行各業都在試著往大數據前進，將大數據導入企業，那最重要的是什麼呢？模型嗎？筆者認為是資料，沒有資料，一切都是空談，因此基礎工程、基礎建設尤為重要，那要如何完善基礎工程呢？這點就是本書談的核心，資料工程。
✤ 大數據產品
本書從最基本的資料收集、爬蟲開始，到資料庫、RESTful API、分散式，最後走到視覺化，完整的呈現，大數據產品的發展過程。筆者除瞭做開源資料，為大數據盡一份心力外，也希望將過程，寫成一本書，分享給大眾，希望提供一個入門磚，且不隻是入門，本書所用到的技術，已經到Senior 等級。另外，本書不單純以技術為主軸，而是引入真實案例、真實情境，讓讀者更能體會到，為什麼要使用這些技術，是為瞭解決什麼樣的問題。
✤ Side Project
工程師、分析師，除瞭專研技術以外，發展個人的Side Project，也漸漸成為主流，筆者的專案，FinMind，也是從Side Project 慢慢發展起來，目前在GitHub 得到 1,900 stars，算是得到一些認可。開發Side Project 有什麼好處呢？除瞭對履歷上加分外，持續開發，接觸的層麵會更多更廣，對於架構設計、產品開發上，更加有經驗。且不隻是接觸技術，而是有真實的案例，可以證明，你會這項技術，並應用在真實場景。另外，工程師最大的優勢是，有能力做齣產品，甚至是分析能力，都有可能幫助讀者，創造齣個人產品、品牌，筆者希望能藉助本書，讓更多讀者進入這個領域，更多讀者開始建立個人 Project、產品、品牌。
最後，感謝深智數位齣版社，邀請筆者撰寫這本書，讓筆者有機會，分享本書內容、產品開發經驗、大數據技術，給各位讀者。
✤ 大數據如何入門？
大數據的時代，各行各業都在試著往大數據前進，將大數據導入企業，那最重要的是什麼呢？模型嗎？筆者認為是資料，沒有資料，一切都是空談，因此基礎工程、基礎建設尤為重要，那要如何完善基礎工程呢？這點就是本書談的核心，資料工程。
✤ 大數據產品
本書從最基本的資料收集、爬蟲開始，到資料庫、RESTful API、分散式，最後走到視覺化，完整的呈現，大數據產品的發展過程。筆者除瞭做開源資料，為大數據盡一份心力外，也希望將過程，寫成一本書，分享給大眾，希望提供一個入門磚，且不隻是入門，本書所用到的技術，已經到Senior 等級。另外，本書不單純以技術為主軸，而是引入真實案例、真實情境，讓讀者更能體會到，為什麼要使用這些技術，是為瞭解決什麼樣的問題。
✤ Side Project
工程師、分析師，除瞭專研技術以外，發展個人的Side Project，也漸漸成為主流，筆者的專案，FinMind，也是從Side Project 慢慢發展起來，目前在GitHub 得到 1,900 stars，算是得到一些認可。開發Side Project 有什麼好處呢？除瞭對履歷上加分外，持續開發，接觸的層麵會更多更廣，對於架構設計、產品開發上，更加有經驗。且不隻是接觸技術，而是有真實的案例，可以證明，你會這項技術，並應用在真實場景。另外，工程師最大的優勢是，有能力做齣產品，甚至是分析能力，都有可能幫助讀者，創造齣個人產品、品牌，筆者希望能藉助本書，讓更多讀者進入這個領域，更多讀者開始建立個人 Project、產品、品牌。
最後，感謝深智數位齣版社，邀請筆者撰寫這本書，讓筆者有機會，分享本書內容、產品開發經驗、大數據技術，給各位讀者。
林子軒
用户评价
评分
這本書簡直是為那些渴望在數據世界中脫穎而齣的專業人士量身定製的指南。我一直覺得，理論知識和實際項目經驗之間存在著一道難以逾越的鴻溝，而這本書恰恰巧妙地填補瞭這個空白。它不僅僅是羅列瞭一堆技術名詞，而是真正深入到瞭如何將 Python 這一強大的工具應用於真實世界的數據挑戰中。那種實戰的緊迫感和解決問題的成就感，在這本書裏得到瞭淋灕盡緻的體現。我特彆欣賞作者在講解復雜概念時所采用的清晰、直觀的敘述方式，仿佛身邊有一位經驗豐富的導師在耐心指導，每一步的邏輯推導都順理成章，讓人在不知不覺中構建起堅實的知識體係。對於任何想要從“會用”升級到“精通”的工程師來說，這本書無疑是梳理思路、提升實戰能力的一劑良方。
评分作為一名在數據領域摸爬滾打多年的老兵，我本以為自己已經對數據工程有瞭比較全麵的認識，但這本書還是為我帶來瞭耳目一新的感受。它的價值在於，它將“工程”和“産品”這兩個維度進行瞭深刻的融閤。很多技術人員隻關注代碼的優雅和技術的實現，卻忽略瞭最終産品對業務的價值和對用戶體驗的影響。這本書的獨特之處在於，它強調瞭數據工程師在産品價值鏈中的核心作用，教會我們如何從業務視角去驅動技術選型和架構決策。這種宏觀視角的轉變，對於希望從純技術崗位嚮更高階架構師或技術領導力崗位邁進的同行來說，是至關重要的心法。它真正做到瞭“升級攻略”這個名字所蘊含的深意。
评分這本書的深度和廣度令人印象深刻，它沒有停留在基礎語法的層麵，而是直接將我們帶入瞭企業級數據工程的“深水區”。我發現，作者在處理大規模數據管道和係統架構設計上的見解尤為獨到，這正是許多入門書籍所缺失的關鍵部分。那種對性能優化、數據治理以及整個數據生命周期的全局觀，纔是區分普通操作員和頂尖數據工程師的核心能力。讀完之後，我立刻感覺自己對當前工作中的瓶頸有瞭更清晰的認識，並且有瞭一套可以直接套用的方法論去優化現有的流程。這本書的價值在於，它教會瞭我們如何思考，而不僅僅是如何編碼。它促使我們去審視我們所構建的係統是否健壯、是否可擴展，這纔是真正麵嚮未來的工程思維。
评分這本書的結構設計堪稱一絕，層層遞進，邏輯嚴密。它不是簡單地堆砌知識點，而是構建瞭一個完整的學習路徑圖。從數據采集、清洗、轉換到最終的部署和監控，每一步都有詳實的解釋和代碼示例作為支撐。我特彆喜歡它在項目案例中穿插的“陷阱預警”和“最佳實踐分享”，這些往往是課堂上學不到的“血淚教訓”。這種以終為始的講解方式，極大地提升瞭閱讀的代入感和學習效率。感覺自己不是在被動接受知識，而是在主動參與一個大型工程項目的構建過程，收獲的不僅僅是技能，更是解決復雜問題的信心。
评分坦白說，我之前看過不少數據相關的書籍，很多都顯得有些陳舊或者過於學術化，讀起來枯燥乏味。然而，這本新版的內容更新速度和對前沿趨勢的捕捉能力，讓我驚喜不已。它似乎緊跟住瞭行業脈搏，介紹的技術棧和案例都具有極強的時效性。尤其是對於一些新興的數據處理範式和雲原生技術的融閤探討，展現瞭作者深厚的行業洞察力。它沒有故作高深，而是用一種非常接地氣的方式，把那些聽起來高大上的概念拆解成可執行的步驟。這對於我們這些需要在快節奏環境中不斷學習和迭代的工程師來說，是極其寶貴的資源，它確保瞭我們所學的知識不會很快過時。
相关图书
本站所有內容均為互聯網搜尋引擎提供的公開搜索信息，本站不存儲任何數據與內容，任何內容與數據均與本站無關，如有需要請聯繫相關搜索引擎包括但不限於百度，google,bing,sogou 等
© 2025 twbook.tinynews.org All Rights Reserved. 灣灣書站 版權所有