用 GPU 做 vLLM Benchmark 的一些心得
最近用 GPU 跑了 vLLM 的 benchmark，想了解在 LLM serving 的環境下，實際上能期待多少 throughput。
Recent Posts
caffeinate – make your Mac awake
When running long tests on macOS, the machine may go to sleep if you don’t touch it. There’s a built-in command that keeps it awake.
caffeinate – 讓你的 Mac 保持清醒
在 macOS 上跑長時間的測試，如果一段時間沒碰電腦，機器可能會進入睡眠。 其實有個內建的指令可以讓它保持清醒。
Lessons Learned While Using Claude Code Skills
Recently, I started experimenting with Claude Code Skills.
使用 Claude Code Skills 的一些心得
最近開始試用 Claude Code Skills。
別名演算法 Alias Method
題目 每個伺服器支援不同的 TPM (transaction per minute) 當 request 來的時候, 系統需要馬上根據 TPM 的能力隨機找到一個適合的 server. 雖然稱為 "隨機", 但還是需要有 TPM 作為權重. 解法 別名演算法（Alias Method）是一種有效率地...
別名演算法 Alias Method
題目 每個伺服器支援不同的 TPM (transaction per minute) 當 request 來的時候, 系統需要馬上根據 TPM 的能力隨機找到一個適合的 server. 雖然稱為 "隨機", 但還是需要有 TPM 作為權重. 解法 別名演算法（Alias Method）是一種有效率地...
Java Class Loader 與 Maven Shade Plugin
ChatGPT generated Java Class Loader 是 Java Runtime Environment 的一部分，它動態地將 Java 類別加載到 Java Virtual Machine 中。通常，只有在需要時才會加載類別。Java 運行時系統不需要知道文件和文件系統，因為...
Java Class Loader 與 Maven Shade Plugin
ChatGPT generated Java Class Loader 是 Java Runtime Environment 的一部分，它動態地將 Java 類別加載到 Java Virtual Machine 中。通常，只有在需要時才會加載類別。Java 運行時系統不需要知道文件和文件系統，因為...
Scrum Note
ChatGPT generated Scrum 是一種敏捷軟體開發的框架，它的核心包含了三個支柱 (Pillars)、五個價值觀 (Values) 和十個原則 (Principles)。 三個支柱 (Pillars) 包括： 透明度 (Transparency)：所有的工作都必須對所有人可見，這...
Scrum 筆記
ChatGPT generated Scrum 是一種敏捷軟體開發的框架，它的核心包含了三個支柱 (Pillars)、五個價值觀 (Values) 和十個原則 (Principles)。 三個支柱 (Pillars) 包括： 透明度 (Transparency)：所有的工作都必須對所有人可見，這...
Java GC Note
Referencehttps://docs.oracle.com/javase/8/docs/technotes/guides/vm/gctuning/cms.htmlhttps://www.oracle.com/technical-resources/articles/java/g1gc.htmlhttps:/...
Java GC 筆記
參考資料https://docs.oracle.com/javase/8/docs/technotes/guides/vm/gctuning/cms.htmlhttps://www.oracle.com/technical-resources/articles/java/g1gc.htmlhttps://wiki...
小心 spring.jpa.open-in-view 導致 DB connection 被拿光
spring.jpa.open-in-view spring boot 的 property, spring.jpa.open-in-view 預設是開啟的開啟的話, OpenSessionInViewInterceptor 就會介入收到 web request 的時候, 會開一個 Hibernate...
小心 spring.jpa.open-in-view 導致 DB connection 被拿光
spring.jpa.open-in-view spring boot 的 property, spring.jpa.open-in-view 預設是開啟的開啟的話, OpenSessionInViewInterceptor 就會介入收到 web request 的時候, 會開一個 Hibernate...
新團隊快速貢獻
前篇分工不設限前言自從開始與新團隊合作後, 產品也即將 GA release. GA 之後又會有新的不同的挑戰. 在新挑戰之前, 是時候紀錄一下這段時間發生的事情.挑戰產品本身由於架構改變加上優化, 整個 backend 幾乎全部改寫, 而且加上支援 HA. 有大量還沒經過 QA 驗證的程式 (全部改寫, 都只有...
新團隊快速貢獻
前篇分工不設限前言自從開始與新團隊合作後, 產品也即將 GA release. GA 之後又會有新的不同的挑戰. 在新挑戰之前, 是時候紀錄一下這段時間發生的事情.挑戰產品本身由於架構改變加上優化, 整個 backend 幾乎全部改寫, 而且加上支援 HA. 有大量還沒經過 QA 驗證的程式 (全部改寫, 都只有...
Dependency Inversion Principle 避免過度依賴外部
IntroductionDIP 應該很常見, 只是常常在談的時候會發現大家忘記了. 因此特別紀錄一下使用 DIP 實質上的好處.Assumption我們大多會希望 business logic code 可以乾淨穩定有乾淨穩定的 business logic code, 就可以寫穩定的 unit test cod...
Dependency Inversion Principle 避免過度依賴外部
簡介DIP 應該很常見, 只是常常在談的時候會發現大家忘記了. 因此特別紀錄一下使用 DIP 實質上的好處.假設我們大多會希望 business logic code 可以乾淨穩定有乾淨穩定的 business logic code, 就可以寫穩定的 unit test code如此未來商業邏輯有改變的時候, 如...
Spring Cloud Stream Introduction - 1
Goal 描述如何套用 spring cloud stream + Kafka 以及概念.適合只面對 Kafka, 不涵蓋進階議題 Example https://github.com/axxdeveloper/study-practice/tree/spring-cloud-stream Concepts ...