★AI大型語言模型實戰課程：從客服機器人到企業智能應用【工研院】│1111進修網

訓練目標

1.如何將各種 LLM 應用和集成到組織現有的數據基礎架構和系統中。這包括了解 ChatGPT 和 Bard 的開源替代品。
2.了解 Transformer架構的演變和 ChatGPT 背後的歷史背景，包括不同類型的 LLM 及其生命週期（預訓練、微調和推理）。
3.了解 LLM 可應用於的不同下游任務，例如預測、提取、序列標記、序列轉換和生成。
4.將 LLM 理解為更大架構中的組件，包括它們在密集檢索、推薦、合成數據生成、負面挖掘以及通過知識蒸餾、修剪和量化管理模型大小的嵌入中的使用。

課程說明

課程簡介：

自 2022 年 11 月首次發布以來，ChatGPT（由 OpenAI 的 GPT 語言模型提供支持）風靡全球。但它並不是唯一使用大型語言模型 (LLM) 重塑企業格局的應用程序。微軟的 Bing AI、谷歌的 Bard 和 Meta 的 LLaMA 也在爭奪生成人工智能領域的主導地位，為從高級搜索到對話代理的技術提供動力。當塵埃落定後，顛覆將無異於對組織運作方式的重塑。

隨著 OpenAI 的 GPT-4 語言模型的最新發布，摩根士丹利財富管理部門正在使用它來組織其龐大的知識庫，Be My Eyes 用於改變視覺可訪問性，Stripe 用於簡化用戶體驗和打擊欺詐，以及政府冰島保留其語言。

作為數據專業人員和開發人員，重要的是要了解這些工具在幕後如何工作，以及如何在您的工作中利用大型語言模型 (LLM)。

LLMs徹底改變了自然語言處理 (NLP) 領域，並越來越多地被用於解決各行各業的各種 NLP 問題。了解 LLM 可以幫助像您這樣的開發人員和數據科學家：

構建更好的 NLP 模型：LLM 是許多 NLP 任務的最先進模型，了解它們的工作原理可以幫助開發人員和數據科學家構建更好的模型並在其 NLP 任務中實現更好的性能。
開發自定義 NLP 應用程序：LLM 可以針對特定的 NLP 任務進行微調，使其高度適應不同的領域和用例。了解 LLM 的開發人員和數據科學家可以利用這種靈活性來開發滿足其特定需求的自定義 NLP 應用程序
優化模型性能：了解 LLM 可以幫助開發人員和數據科學家通過為其特定用例選擇合適的架構、提示工程、微調策略和下游任務來優化模型性能。

課程大綱：

【課程綱要】

【課程內容】

日期

單元一：

從生成模型到下游任務：

探索語言模型在NLP中的應用

了解生成式模型演變，從馬可夫鏈開始
了解使用不同機器學習範例（監督、非監督、生成式）的用例。
解釋 LLM 生命週期：預訓練、微調、推理。
了解並處理不同類型的下游任務：文本分類、文本相似性、摘要、翻譯、命名實體識別。
實作WordCount、NER、文本分類等實作案例。

(六)

單元二：

LLM架構及應用：打造智慧客服 Chatbot

大型語言模型架構 SPRLO 介紹：
Streamlit, Pinecone , RedisCache , LangChain , OpenAI
LLM 基礎介紹、元素解說、應用場景說明：QAGPT、ChatDocs、SQLGPT
分享大型語言模型應用開發流程，檔案拆分、向量存放檢索、向量資料庫。
基於文件對話，實作法律文件機器人，以Uber為例

(六)

單元三：

深入了解LangChain：掌握NLP平台開發和應用的進階知識

介紹 LangChain 關鍵元素：Model、Prompt、Chain、Agent、index
介紹 Prompt Engineering 基礎知識與進階技巧 3. 實作多種資料來源應用技巧，包含：Docx、Excel、PDF、Email。
實作大型語言模型應用，建構公司內部文件GPT

(六)

單元四：

向量資料庫應用：從資料檢索到自然語言理解的應用實踐

開源模型應用，從 LLama 到 Dolly 2.0
開源向量資料庫應用，從 Chroma 到 Redis
實作大型語言模型應用，建構客服機器人

(六)

【建議修課參考】

◆熟悉Python讀寫代碼（了解不同的資料格式和物件導向開發的基礎知識）。

◆具有數據和機器學習 Python 庫（例如 Numpy、Scikit-Learn 和 Pandas）開發經驗。

◆具有 Web 應用程序開發經驗（了解網站與伺服器溝通知識）

◆擁有使用 API 開發經驗，並能夠編寫簡單的 Python 代碼來發送請求和解析來自API的響應。

【上課所需軟硬體參考】

◆自備NB （操作系統為 windows 10 以上，優先建議使用linux-base 作業系統）

◆具備OpenAI 帳戶以及 API 金鑰 (第一次註冊會有18美元額度可做為課程時開通實作練習用)

課程資訊：

舉辦日期：114年度第二梯次課程排程中

舉辦時間：09:30~16:30，每天6小時，共計24hrs

培訓證書授予：

- 參加【AI大型語言模型實戰課程：從客服機器人到企業智能應用】之學員，研習期滿，出席率達到80%(含)以上，且參與課程實作與討論者，即可獲工研院頒發的培訓證書。

師資介紹

黃老師暨團隊講師

【經歷】資訊科技專家、大學講師、RiskValFinancial Solution量化資料科學家，軟體架構師、 Smart Tech Inc.主工程師、Dynamic Service Inc(DSI)軟體工程師等…實務經驗

【學歷】New York University - Courant Institute of Mathematical Sciences Master of Science, Computer Science (碩士)、厦門大學王業南經濟研究院金融(博士)

備註：

★本課程歡迎企業包班~請來電洽詢課程承辦人陳小姐(Zoe) 04-25687661。
●本課程符合勞委會"協助事業單位人力資源提升計畫"的補助方案，歡迎企業踴躍報名參加

課程說明

課程簡介：

作為數據專業人員和開發人員，重要的是要了解這些工具在幕後如何工作，以及如何在您的工作中利用大型語言模型 (LLM)。

LLMs徹底改變了自然語言處理 (NLP) 領域，並越來越多地被用於解決各行各業的各種 NLP 問題。了解 LLM 可以幫助像您這樣的開發人員和數據科學家：

構建更好的 NLP 模型：LLM 是許多 NLP 任務的最先進模型，了解它們的工作原理可以幫助開發人員和數據科學家構建更好的模型並在其 NLP 任務中實現更好的性能。
開發自定義 NLP 應用程序：LLM 可以針對特定的 NLP 任務進行微調，使其高度適應不同的領域和用例。了解 LLM 的開發人員和數據科學家可以利用這種靈活性來開發滿足其特定需求的自定義 NLP 應用程序
優化模型性能：了解 LLM 可以幫助開發人員和數據科學家通過為其特定用例選擇合適的架構、提示工程、微調策略和下游任務來優化模型性能。

課程大綱：

【課程綱要】

【課程內容】

日期

單元一：

從生成模型到下游任務：

探索語言模型在NLP中的應用

了解生成式模型演變，從馬可夫鏈開始
了解使用不同機器學習範例（監督、非監督、生成式）的用例。
解釋 LLM 生命週期：預訓練、微調、推理。
了解並處理不同類型的下游任務：文本分類、文本相似性、摘要、翻譯、命名實體識別。
實作WordCount、NER、文本分類等實作案例。

(六)

單元二：

LLM架構及應用：打造智慧客服 Chatbot

大型語言模型架構 SPRLO 介紹：
Streamlit, Pinecone , RedisCache , LangChain , OpenAI
LLM 基礎介紹、元素解說、應用場景說明：QAGPT、ChatDocs、SQLGPT
分享大型語言模型應用開發流程，檔案拆分、向量存放檢索、向量資料庫。
基於文件對話，實作法律文件機器人，以Uber為例

(六)

單元三：

深入了解LangChain：掌握NLP平台開發和應用的進階知識

介紹 LangChain 關鍵元素：Model、Prompt、Chain、Agent、index
介紹 Prompt Engineering 基礎知識與進階技巧 3. 實作多種資料來源應用技巧，包含：Docx、Excel、PDF、Email。
實作大型語言模型應用，建構公司內部文件GPT

(六)

單元四：

向量資料庫應用：從資料檢索到自然語言理解的應用實踐

開源模型應用，從 LLama 到 Dolly 2.0
開源向量資料庫應用，從 Chroma 到 Redis
實作大型語言模型應用，建構客服機器人

(六)

【建議修課參考】

◆熟悉Python讀寫代碼（了解不同的資料格式和物件導向開發的基礎知識）。

◆具有數據和機器學習 Python 庫（例如 Numpy、Scikit-Learn 和 Pandas）開發經驗。

◆具有 Web 應用程序開發經驗（了解網站與伺服器溝通知識）

◆擁有使用 API 開發經驗，並能夠編寫簡單的 Python 代碼來發送請求和解析來自API的響應。

【上課所需軟硬體參考】

◆自備NB （操作系統為 windows 10 以上，優先建議使用linux-base 作業系統）

◆具備OpenAI 帳戶以及 API 金鑰 (第一次註冊會有18美元額度可做為課程時開通實作練習用)

課程資訊：

舉辦日期：114年度第二梯次課程排程中

舉辦時間：09:30~16:30，每天6小時，共計24hrs

培訓證書授予：

﹀

師資介紹

黃老師暨團隊講師

【學歷】New York University - Courant Institute of Mathematical Sciences Master of Science, Computer Science (碩士)、厦門大學王業南經濟研究院金融(博士)

﹀

備註：

★AI大型語言模型實戰課程： 從客服機器人到企業智能應用【工研院】

★AI大型語言模型實戰課程：從客服機器人到企業智能應用【工研院】