開源AI助攻-採用Ollama部署本地端大型語言模型:【工研院】產業學院

課程資訊

開課日期

2025-07-07

學習時程

共2日, 12時

上課時間

週一

上課時段

上午,下午

適用對象

*在企業內部擔任資訊人員(IT)、AI軟體開發、AI模型運用、AI程式應用等工程師或研發人員等。
*對大型語言模型(LLM)開發實務有興趣者。

課程特色

(一)本地部署保護企業隱私與安全
企業為了考量機密資料與安全隱私，需要的是真正可以斷網的大型語言模型執行環境。使用Ollama部署大型語言模型，不僅可以在企業內部安心使用，還可以建立企業專屬資料的聊天機器人，透過Meta Llama與Microsoft Phi-3，就能成功打造離線版的智慧生成式AI應用。

(二)模型可控性和自行定義
使用Ollama部署，能方便調整與微調模型以滿足企業內部的特定業務需求，更能夠選擇使用開源模型或自有模型，完全瞭解訓練和推理的過程，擁有自主功能開發的彈性與掌控優勢。

(三)使用成本低、離線運行且低延遲
只要一次性硬體投資後即可長期運行，不但具備即時運算的延遲性、而且在離線情境下也能正常使用。

詳細內容

課程介紹

Ollama是一個專注於本地端部署的大型語言模型管理工具，主要以簡化大型語言模型的部署流程，同時提供靈活的控制和高效運算性能作為目標。立即體驗Ollama的優勢，輕鬆開啟本地端大型語言部署之路！

本課程將介紹學員認識Ollama開源AI工具，以實作為導向，帶領學員在自己的電腦使用大型語言模型(像是Meta Llama, Microsoft Phi-3等)，並架設基本網站介面，方便後續與大型語言模型對談，進而打造離線版的智慧生成式AI應用。

課程大綱

Ollama與大型語言模型
1.安裝Ollama
2.下載大型語言模型
3.設定開發環境VS Code
大型語言模型下載
1.llama 3.2(1b/3b) / llama 3.1(8b)
2. ph3(3.8b/14b)
與大型語言模型對話
1.呼叫大型語言模型
2.建立對話式介面
3.系統提示設定
RAG向量資料庫與資料檢索
1.建立向量資料庫
2.打造企業專屬資料聊天機器人

師資介紹

鐘老師
￭Microsoft MVP微軟全球最有價值專家(2023)
￭AWS Educate 雲端推廣大使
專長：機器學習、深度學習、產業AI化應用、AI加值應用程式開發
經歷：
-Microsoft 微軟國際工作坊訓練講師(資料科學、人工智慧)
-元智大學資工系兼任助理教授
-資策會數位教育研究所專案經理

備註

課程原價：11,000元
開課前14天報名，享早鳥優惠價：9,900元
工研人優惠價：9,900元
團報優惠價：9,400元

開課日期 \|	2025-07-07
課程費用 \|	11000
開課地點 \|	新竹縣竹東鎮工研院中興院區21館