人工智慧在醫學影像的應用及實作開發

Practical Implementation of Artificial Intelligence in Medical Images
Fall, 2022

佈告欄

溫馨提醒

上課時間與地點：2022/9/13-11/4・星期二和星期五・第三四節 10:20-12:10・台灣大學校總區天文數學館 519 室
請在 10:17 am 前入座，我們 10:20 am 準時開始上課，12:10 pm 準時下課
上課請攜帶筆電

常用連結

Proposal template
每週二、五 14:00 前請填寫「上課提問與回答紀錄」[XYZ02]
"For Students" Google Folder
課程 Line 群組：https://line.me/ti/g/wvMkkcrAN5 [XYZ01]
實習課Github：
- https://github.com/WarrenTseng/monai_endoscopy_tutorial
- https://github.com/cloudrainstar/202208-monai-tutorial

近期訊息

[2022/09/13] 請填寫「期初問卷」[XYZ02] (截止時間：2022/09/13 14:00)
[2022/08/24] 歡迎參加線上研討會：Project MONAI Tutorial: Developing for the Medical AI Project Lifecycle with MONAI. MICCAI 2022, September 22nd @ 8:00 AM to 3:00 PM (SGT time)

每週預計進度 (目前進度)

Three Sample Pipelines

Pneumonia classification on 2D X-ray images
Spleen detection on 3D computer tomography (CT) images
Polyp segmentation on endoscopy videos

1A・9/13
Introduction

Lecture (王偉仲、黃宗祺)

課程介紹
醫學 AI 的現況與未來

HW1

閱讀「How MONAI Fuels Open Research for Medical AI Workflows」
觀看 "Accelerating AI Innovation in Medical Imaging"
閱讀/觀看 "How AI Can Augment Radiology"
觀看 "Writing AI Medical Papers" [404]
閱讀 "學術文獻回顧與分析的程序與技巧"
簡述以上指定文章閱讀與影片觀看心得 (~ 1 page)
Due: 9/20

Reference

黃宗祺《淺談人工智慧於產業，學術，臨床醫療應用》：投影片，影片 [1:10:38]

1B・9/16
Introduction

Lecture (王偉仲)

醫學 AI 開發流程

Lab

自我介紹與分組

Reference

王偉仲《How AI Can Help Doctors to Help People, Part 1》：投影片，影片 [XYZ03]

2A・9/20
Labelling and Training

Lecture & Lab (曾秋旺)

MONAI 簡介
深度學習模型訓練
MONAI Core 實作程式

HW2

瀏覽本課程重要期刊，或其他與課程相關的學術期刊，挑選至少 3 本你希望翻閱的期刊，分別簡述期刊特性，以及你喜歡的理由 (~ 0.5 page)
從你希望閱讀的期刊中，每本期刊至少閱讀 3 篇論文摘要，並簡述讀後心得 (~ 1 page)
MONAI Core Exercise
MONAI Core 習題參考答案
Due: 9/27 10:00

Reference

曾秋旺《MONAI Core》：投影片、影片 [1:44:25]
吳亭慧《基礎影像處理》：投影片[XYZ01]，影片 [19:12]
吳亭慧《基礎影像處理實作》：程式[XYZ01]，影片 [15:23]
呂明修《MONAI 介紹與使用》：影片 [35:00]

2B・9/23
Labelling and Training

Lecture & Lab (曾秋旺)

資料標註
MONAI Label 實作程式

Reference

曾秋旺《MONAI Label》：投影片、上課影片 [404] [1:11:43]
王柏川《影像分割簡介》：影片 [31:52]〈Segmentation Evaluation〉[10:12 開始]
吳亭慧《3D Slicer 簡介》：影片 [9:55]
MONAI Label Deep Dive Series 系列影片

3A・9/27
Inference

Lecture (李正匡)

高效能模型推論

HW3A

從本課程重要期刊，或其他與課程相關的學術期刊，選擇閱讀一篇論文。
- - 列出本篇論文題目、引用資訊、作者
  - 說明此論文的 clinical and/or technical significance, innovation, and limitation (~ 1 page)
  - 說明此論文的 target problem, proposed methods, main results, possible future directions (~ 1 page)
Due: 10/4 10:00

HW3B

參考上週肺部 X 光分類問題的程式，熟悉模型訓練流程。嘗試使用不同的 Transform 、模型架構、超參數等，對不同評量指標 (例如 sensitivity 和 specificity) 的影響。最終的模型請結合今天 TensorRT 習題的部分，說明不同的選項對 throughput 的影響。
請寫一份報告說明：
- - 模型訓練的設定，至少包含所使用的Transform、模型架構、Epoch數。
  - 比較TensorRT選項對 throughput的影響。
  - 程式在 Jupyter Lab的路徑，如/workspace/Group_8883/yc/classification。
Due: 10/11 10:00

Reference

李正匡《TensorRT》：投影片、影片 [1:13:05]

3B・9/30
Inference

Lab (李正匡)

TensorRT 實作

Reference

李正匡《TensorRT 實作》：影片 [43:47]

4A・10/4
Deployment

Lecture (廖英凱)

深度學習模型部署

HW4

從本課程重要期刊，或其他與課程相關的學術期刊，選擇閱讀一篇論文。
列出本篇論文題目、引用資訊、作者
說明此論文的 clinical and/or technical significance, innovation, and limitation (~ 1 page)
說明此論文的 target problem, proposed methods, main results, possible future directions (~ 1 page)
第一版小組學期計畫 (proposal template)
Due: 10/11 10:00

Reference

廖英凱《MONAI Deploy》：投影片、影片 [48:56]
廖英凱《Spleen Detection on CT Images 程式簡介》：影片 [23:19]
廖英凱《Polyp Segmentation on Endoscopy Videos 程式簡介》：影片 [14:33]

4B・10/7
Deployment

Lab (李正匡)

MONAI Deploy 實作

Reference

李正匡《MONAI Deploy 實作簡介》：影片 [50:22]

5A・10/11
Monitoring

Lecture (廖英凱)

多模型部屬與監測

HW5

從本課程重要期刊，或其他與課程相關的學術期刊，選擇閱讀一篇論文。
列出本篇論文題目、引用資訊、作者
說明此論文的 clinical and/or technical significance, innovation, and limitation (~ 1 page)
說明此論文的 target problem, proposed methods, main results, possible future directions (~ 1 page)
Due: 10/18 10:00

Reference

廖英凱《Triton Inference Server 簡介》：投影片、影片 [1:07:48]

5B・10/14
Monitoring

Lab (廖英凱)

Triton Inference Server 實作

Reference

廖英凱《Triton Inference Server 實作練習》：影片 [33:57]

6A・10/18
Project

Lab (王偉仲)

專題計畫討論與實作

HW6

撰寫專題計畫書
Due 10/25 10:00

6B・10/21
Project

Lab (王偉仲、曾秋旺)

專題計畫討論與實作
在 305 教室上課

Reference

7A・10/25
Federated Learning

Lecture (王柏川)

聯邦學習
NVFLARE介紹

HW7

從本課程重要期刊，或其他與課程相關的學術期刊，選擇閱讀一篇論文。
列出本篇論文題目、引用資訊、作者
說明此論文的 clinical and/or technical significance, innovation, and limitation (~ 1 page)
說明此論文的 target problem, proposed methods, main results, possible future directions (~ 1 page)
Due: 11/1 10:00

Reference

[Video] NVIDIA FLARE 101: Overview and Getting Started [05:52]
王柏川《聯邦學習與 NVFLARE 簡介》：投影片、影片 [1:15:03]

7B・10/28
Project

Lecture (王偉仲)
專題計畫討論與實作
在 305 教室上課

目前進度

8A・11/1
Project

Lecture (王偉仲)

專題計畫討論與實作
在 305 教室上課

Reference

8B・11/11
Presentation

Lecture (王偉仲、李匡正、曾秋旺)

小組口頭與書面結案報告

Reference

課程資訊

時間地點

111學年度第ㄧ學期・2022/9/13-11/4・星期二和星期五・第三四節 10:20-12:10
國立台灣大學校總區・天文數學館 519 室

授課教師

王偉仲教授
- - 國立台灣大學・應用數學科學所・數學系・資料科學學位學程・wwang@ntu.edu.tw
黃宗祺博士
- - Solution Architect Director, Healthcare, APAC, NVIDIA
李正匡博士
- - Lead of NVAITC-Taiwan and Senior Solutions Architect, NVIDIA
曾秋旺
- - Deep Learning Solution Architect, NVIDIA
廖英凱
- - NVIDIA Solutions Architect, Healthcare, NVIDIA

課程助教 [XYZ02]

胡彥川

國立台灣大學・應用數學科學所・MeDA Lab・oiyenchuan@ntu.edu.tw

課程概述

教授醫學影像 AI 的開發流程，深度學習分析工具，以及 GPU 加速運算平台操作，讓學生具備開發醫學應用人工智慧模型能力。
講解開源軟體 MONAI (Medical Open Network for Artificial Intelligence) 醫學影像運算解決框架，與 GPU 加速軟體處理框架，並以實例執行人工智慧於臨床醫學影像的開發與應用，讓學生熟悉產業界如何開發與部屬智慧醫療解決方案。

課程目標

經由學生親自實作，結合公開醫學影像資料，以及開源 MONAI 運算平台，建立開發人工智慧模型能力。
培養基礎程式 Python 語言撰寫與程式設計能力。
認識 GPU 加速器原理與深度學習框架軟體。
運用高速運算資源及邏輯思考分析與處理醫療專案。
由產業界及學界共同授課，為長遠醫療AI產業發展奠基。

先修課程

若具備基本 Python、機器學習、深度學習等知識與能力，對學習本課程會有幫助。若無相關背景，可於開學前或學期中自學。

評量方式

暫定內容，將視修課同學背景與興趣調整。

小組計劃期末成果 (口頭報告、軟體、海報、一分鐘影片) ：個人貢獻：12%，整合成效：33%
個人期末書面報告：25%
上課參與 (提問、回答問題、發表意見、協助同學)：15%
個人作業：15%

建議閱讀論文

Mitigating Bias in Radiology Machine Learning: 1. Data Handling, 2. Model Development, 3. Performance Metrics.
Radiology: Artificial IntelligenceVol. 4, No. 5, 2022.
RadImageNet: An Open Radiologic Deep Learning Research Dataset for Effective Transfer Learning
Radiology: Artificial IntelligenceVol. 4, No. 5, 2022.

重要期刊

學術活動

GTC 2022

參考書目

教師提供講義、論文與參考資料
書籍
- "Deep Learning with PyTorch" by Eli Stevens, Luca Antiga, Thomas Viehmann. ISBN: 978-1617295263 (2020). 中文版：PyTorch深度學習攻略, ISBN：9789863126737 (2021).
- https://theaisummer.com/deep-learning-books-2022/
- "Model Checking," (2nd Edition) Edmund M. Clarke, Jr., Orna Grumberg, Daniel Kroening, Doron Peled and Helmut Veith, MIT Press, 2018.
- "Pattern Recognition and Machine Learning," Christopher M. Bishop, Springer, 2006.
- "Introduction to Machine Learning," Ethem Alpaydin, MIT Press, 2009.
- "Learning from Data," Yaser S. Abu-Mostafa, Malik Magdon-Ismail, Hsuan-Tien Lin, AMLBook, 2012.
- Prof. Hung-Yi Lee’s Machine Learning website: http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html
- Introduction to Machine Learning, Ethem Alpaydin, 2009, MIT Press
- S. H. Park and K. Kan, "Methodologic guide for evaluating clinical performance and effect of artificial intelligence technology for medical diagnosis and prediction," Radiology, 286(3), 800-809, 2018.
- L. J. Bonnett et al., "Guide to presenting clinical prediction models for use in clinical settings," BMJ, 365: l737, 2019.
- Goodfellow, Bengio, Courville, Deep Learning, MIT Press, 2016
- Szeliski, Computer Vision: Algorithms and Applications, Springer (online draft)
- Vander’s Human Physiology, 15th edition, edited by Widmaier, Raff, Strang. McGraw Hill international edition
- NVIDIA Clara Documentation https://docs.nvidia.com/clara/
- RAPIDS Docs https://docs.rapids.ai/
- Topol, E. (2019). Deep medicine: how artificial intelligence can make healthcare human again. Hachette UK.
- Ranschaert, E. R., Morozov, S., & Algra, P. R. (Eds.). (2019). Artificial intelligence in medical imaging: opportunities, applications and risks. Springer.
- Goodfellow, I., Bengio, Y., & Courville, A. (2017). Deep learning (adaptive computation and machine learning series). Cambridge Massachusetts, 321-359.

線上資料庫
Blog
- AI Assistant Blog (Data Science Institute, American College of Radiology)