如何執行醫學教育的方案評估？
如何執行醫學教育的方案評估？
文 / 哈佛醫學院醫學教育研究所 劉子弘醫師
在教育行政的領域裡，方案評估（Program
evaluation）是教育方案的設計者必然會面對的問題。對設計者而言，一個教育方案的成功與否、是否能帶來影響力，都是需要經過審慎評估的。教育方案的利害關係人，包括上級機關、評鑑單位、行政人員、合作師資、受訓學生等，都會需要相關的資訊來評斷該教育方案是否值得持續地挹注資金與人力。長久以來，方案評估最直觀、也最簡易的方式就是進行參與者的滿意度調查，但我們必須了解到，對延續、調整甚至擴展一個教育方案而言，滿意度這項資料是遠遠不足的。因此，認識各類可行的方案評估，不限於滿意度調查，對教育行政的負責人，便是相當重要。本文將介紹方案評估常用的三種操作模型，並透過醫學教育的實例，讓對教育行政有興趣的讀者了解如何實作應用。
在介紹各類方案評估的模型之前，讓我稍微提一下模型背後的幾種理論基礎，了解這些理論也會對如何應用這些模型有幫助。最線性直觀的理論是化約論（Reductionism）：當物件A跟B可以組成C的時候，我們會認為評估A跟B，便能夠得到C的評估結果。當我們考量到系統理論（System theory）時，表面上物件A跟B組成C，實際上物件C的效果可能大於或等於物件A加上B個別的效果。跟化約論相較之下，系統理論仍是一個偏線性的理論，經典的代表模型就是待會將介紹的邏輯模型（Logic
model）。最進階的理論是複雜度理論（Complexity
theory），這個理論主張所有物件之間（如物件A與B、B與C、A與C），都是交互影響的，並可能在物件間有循環的效果（如物件A到B到C又到A）。複雜度理論的模型代表是CIPP模型（Context/Input/Process/Product model），我也會接著做介紹。
在台灣醫學教育的現況上，對日常教學活動的評估，化約論似乎就足以應付大部分人的期待，但相信有過實務經驗的教育行政者，會發現系統理論跟複雜度理論是比較貼近現實狀況的理論架構。尤其當你在執行一個創新的教育方案，並有逐步擴張規模的考量時，簡略粗糙的方案評估可能帶來毀滅性的結果。因此，慎選方案評估的理論、模型對教育行政的重要性不言而喻。根據你執行的教育方案類型，我們可以判斷背後的運作機制跟哪一種理論最為貼近，進而選取其對應的評估模型，得到的評估結果才夠完善、也才能對未來決策帶來最大的幫助。
那麼就讓我們先來認識最常用、也最直觀的Kirkpatrick四層次模型（Kirkpatrick’s four-level model）吧！如圖一所示，這個模型有四個層次，包括最底層的反應（Reaction），往上陸續為學習（Learning）、轉移（Transfer）、結果（Results）。每個層次都有很多項目可以探究，以反應層次作例子，我們常常使用的滿意度（Satisfaction）調查就屬於這一個層次。想了解學員對一個教育方案的反應，我們可以在問卷中詢問該方案是否值得他們的時間、有怎樣的優點或缺點、活動本身是否讓他們有參與感、從活動中學到的東西可否應用在他們的臨床工作上、有無需要其他的協助等。當然，要了解學員的反應，還可以觀察他們在教學活動間的參與度，比如說眼神、肢體表現、發言的質量。在一些特別的教學活動如模擬訓練（Simulation），我們若有錄製學員與他人互動的表現，也可以作為評估反應的依據。
圖一、Kirkpatrick四層次模型（Kirkpatrick’s
four-level model）
接著是學習層次，我們會根據該教學方案原先設定好的學習目標（Learning
objectives）來評估學員的知識（Knowledge），但學習目標可能也包括技能跟態度。這部分我會建議在執行該教育方案之前跟之後，各執行一份固定題項或同等難度的測驗，也就是所謂的前後測，來比對學員答題的變化。講到前後測，大家可能直接聯想到評量知識的單選題，但在學習層次，我們也需要評量學員經過該教學方案後，是否更有信心執行某項技術、是否願意承諾做出改變等。附帶一提，除了紙筆測驗，口試、實作測驗（Performance
test）跟訪談也是評估學習層次很好的方式。
更上一層的是轉移層次，此層次評估的項目以行為（Behavior）為主。相信大家都可以了解，即便我們透過某個教學方案學習到某些技能，臨床環境沒有支持性的措施或制度，我們也難有所表現。打個比方，今天我們開發一個改進交班程序的課程，只開放給部分有興趣的資淺住院醫師們來受訓。這些住院醫師學會如何有效率且確實的交班，但他們的同事不熟悉這套交班程序，還是沿襲個人習慣做交班，便無法整體性貫徹新制交班。如果這個交班程序的課程是落實給全院的住院醫師，並且要求未來交班必須以新制為依歸，做為臨床考核的標準，我們就很容易在臨床上觀察到行為的變化。要評估轉移層次，除了直接觀察，我們還能善用常規登錄的資料，比如說前述例子可以追蹤既有的交班紀錄，以及隔一段時間後訪談學員，來得知實際應用新制交班的情形。
對一個教學方案而言，行為層次的成效可能可以在短期內發生，但結果層次指的往往是中、長期的影響（Impact）。延續前段交班程序的例子，結果層次會是提升交班品質、降低值班期間處置錯誤率等深遠的成果，甚至到節省醫院因為醫療錯誤導致的開銷。結果層次的指標訂定相當重要，在開發一個教學方案時，應該先把方案評估的結果層次納入考慮。縱然結果層次是這個Kirkpatrick模型的頂端，但實際應用上，會建議先設想好結果層次的指標，中、長期指標都必須有，再開發出對應的訓練方式。如此的話，進行方案評估時，能收事半功倍之效。較新的Kirkpatrick模型版本，會在最頂端加上投資報酬率（Return on investment，縮寫為ROI），強調為方案付出的資金、設備及人力成本在方案執行後，能得到一定程度的回報。這邊的報酬並不限於金錢，可以是設備跟人力的補給或擴充。
第二個我要介紹的模型是邏輯模型（Logic
model），先前提到它源於偏線性的系統理論，與臨床實務的密合度較高，適用於醫學教育的領域。利用邏輯模型進行方案評估，其成果嚴謹度高。教學方案本身頗具新意的話，方案評估是有足以發表在學術期刊的價值的。圖二呈現了邏輯模型的五大組成：資源（Resources）、活動（Activities）、輸出（Outputs）、結果（Outcome）、長期結果（Long-term
outcomes）。其中，資源跟活動構成所謂的需求評估（Needs
assessment），跟我們做課程開發的需求評估基本上是一樣的概念。此外，輸出跟結果兩者易生混淆，在進行評估時應避免錯置。以下逐項介紹五大組成：
圖二、邏輯模型（Logic model）
資源的部分要問What
we invest，意指投資在該教學方案上，實體的跟無形的資源，包括金錢、職員的時間與專業、建築物與設備、技術支援、策略夥伴與顧問等。活動的部分要問What
we do，指的是核心任務及其步驟，由專責人員執行，通常包括師資培訓工作坊、課程開發、評量等。輸出的部分要問What
we reach，意指會參與該教學方案並從中受益的特定個人或團體。結果的部分要問How
we affect outputs，指的是這些參與方案的個人或團體，預期會從中獲得什麼，可能是知識、態度或行為的改變。長期結果的部分要問How
we affect the broader community，包括國家政策、醫院系統運作或更大的學員社群。注意這五大組成同時意味著進行到的階段，比如說資源充足了才能設計出活動、活動詳盡規劃後才能觸及到輸出的對象。兩個組成之間的關係是雙向的，比如輸出對象可能會回頭影響活動的安排、為求活動規劃更完備，我們可能要求更多資源的挹注等。我們使用邏輯模型時，除了做事後的方案評估，也可以在方案進行過程中判斷進展如何，在各階段是否有問題亟待解決。
聽完上述介紹可能會覺得有點抽象，實務上要怎麼使用呢？請讓我用加州老年醫學教育中心（以下簡稱老醫中心）2009年在《Gerontology & Geriatrics Education》發表的方案評估做例子，用倒推法說明邏輯模型的好用之處。首先，我們可以著眼在預期的結果之上，該老醫中心認為有三：增加老醫課程與教材的使用管道與可近性、增加能勝任且具文化敏感度的教師與學員、提升老醫教學及老年照護的升遷與補助機制。長期結果的部分，則是：增加老年照護的使用管道跟提升老年人（尤其是弱勢族群）的照護品質。有了清楚的預期成果，輸出對象就相對明確了，除了受訓學員、臨床師資及專業人員，當地及國家老年醫學教育中心、當地及國家政策制定者也會是這個方案要觸及的對象。針對各類的輸出對象，我們需要規劃出特定方案，比如說給學員以實證為基礎的老年醫學教材、給教師安排研討會與工作坊、對外部組織建立合作關係、對政府部門進行老年照護的倡議。
回到資源的部分，除了既有的組織人力，可以思考有無可以合作的夥伴或者是參考其他組織已建立的教學方案，另外要找尋更多的資金來源，並尋求更高層級單位的背書。對於資源應用的指導原則，也是需要經過團隊核心的討論，屬於資源組成的一環。以老醫中心來說，集中管理、社區連結、組織行為改變、跨學科合作四個原則在一開始就確立了，這對後續檢視五大組成彼此的連貫性也會有幫助。當然，就每個組成而言，我們可以再深究具體的細部內容為何，條列出各個項目，並輔以數據佐證，因篇幅有限就不一一列舉。要提醒的是在結果部分，數據呈現更為重要，比如說訓練了多少老醫學員、學員臨床表現如何、多少老醫師資獲得升遷、與外部組織的會議多久開一次等。這些評估的內容，應包括形成性（Formative）跟總結性（Summative）的資料，並以嚴謹但具彈性的方法呈現。
最後，我要介紹的模型是CIPP模型（Context/Input/Process/Product model）。這個模型考量到不同象限之間循環影響的作用，每個象限內有更多的項目需要檢核，進行CIPP模型的方案評估因此較為繁複，適用於重大決策如國家級的教學方案。圖三便是CIPP模型的簡圖，中間為核心價值（Core
values），外部有四個評估象限，包括脈絡評估（Context
evaluation）、輸入評估（Input
evaluation）、流程評估（Process
evaluation）、產品評估（Product
evaluation）。簡言之，我們可以把脈絡評估視為目標（Goals），在這個象限裡透過評估與脈絡相關的需求、問題、資產與機會，定義出目標及其執行的優先順序。輸入評估則是計畫（Plans），我們評估各種不同的施行計畫，包括不同的人力調度與資源整合，比較它們的可行性跟成本效益。
圖三、CIPP模型（Context/Input/Process/Product
model）
流程評估可視為行動（Actions），當此教學方案被執行後，我們會得到許多資訊，比如說監控方案完成的進度、方案參與者的各式回饋，從中可以建構出一套能實際操作的方案流程。產品評估就跟前述的結果（Outcomes）概念很類似，這部分就是辨認出並蒐集正面跟負面、刻意與非刻意、短期與長期的各種結果。這些結果會進一步影響原本的脈絡，脈絡改變後，最佳的輸入方式可能不會是同一個，流程面也會因此需要調整，最後又得出不同的產品。在CIPP模型中，各評估象限須緊扣核心價值，然後在象限之間也有上述循環性的影響，因此，我們隔一段時間就需要檢視這些象限的內容有無調整的需要。
方案評估並非新穎的概念，上述的幾個模型也都發展數十年之久，但在教學實作上常被忽略，教學單位往往用滿意度調查帶過。時至今日，醫學教育逐步創新，有更多新的教學方案被開發出來，除了直觀的教學成效，整體的方案評估更是教育行政不可或缺的利器。期待各位醫學教育的先進跟夥伴，能善用各類方案評估的模型。在事前我們可用評估模型預期的結果倒推，有助於教學方案的設計；在事後確認方案施行的成效，延續或擴展成功方案的規模，對不盡理想的方案也能避免不必要的資源浪費。完備的方案評估結果，亦有教學及學術分享的空間，可讓其他夥伴更深刻了解立意良善的方案是否能得到預期的成果，其中若有不足之處，也能及早發現改進，加速提升醫學教育的品質。最後跟大家提醒：請保持開放的心態，接受非預期的評估成果。如果你覺得自己可以完美預測一個教學方案能帶來的效果，你可能有些自我設限的部分！
留言