電腦輔助評價（CAA）的發展現狀與趨勢)

 

電腦輔助評價（CAA）的發展現狀與趨勢 

 

一、電腦輔助評價的特點及其優勢

    電腦輔助評價（Computer Assisted Assessment，簡稱CAA）是指在評價學習者的知識、技能和能力的過程中引入電腦作為工具或手段，即電腦應用於評價過程。與CAA含義大致相同的術語還有：電腦輔助測試（Copmuter-Assisted Testing）、電腦化評價（Computerized Assessment）、基於電腦的評價（Computer-Based Assessment）和基於電腦的測試（Computer-BasedTesting），他們都從屬於CAA領域。

    大型的社會化考試、網路教育中教學評價活動的開展，對CAA的需求日益擴大，傳統的教育評價方法和測試手段也越來越不適應教育發展的需要。特別是在被試數目過大或地理位置相對比較分散，時間、人員和資金緊張的情形下，傳統的測試方法已很難適應。

    CAA作為一種新的評價方式被福士所接受，有其自身的特點及其優勢： 

      表1：CAA的特點及其優勢

角度	特點與優勢
被試者	l         通過形成性評價，使被試瞭解自己的學習進度； l         通過總結性評價，使被試可以進行分階段的學習； l         可以確認當前的教學方法是否有效。
教學	l         CAA使得大範圍地區的評價更加迅速，節省時間耗費； l         節省時間，使進行其它更有針對的評價活動成為可能； l         通過形成性評價，可以瞭解被試的學習進展情況； l         在自適應測試（Adaptive Testing）過程中，發現學生整體的弱點，從而調整教學方法。
管理學	l         減少了在監督管理、監考和評分上面花費的時間； l         減少了在評分過程中因為人為因素而出現的錯誤； l         處理不同地點的學生同時進行評價時，節省了財力和人力； l         進行無紙化考試，減少在印刷上面費用； l         可以成功的對測試結果進行分級，並且自動的記錄進被試檔案； l         資料庫隨機抽取題目，有效避免作弊。

 

因此，研究CAA在教育評價中的應用具有重要意義：對於解決現代遠程教育中師生分離狀態下的互動與反饋問題尤其具有應用價值；有利於教師監測學生的學習過程，可對學生進行與其能力相匹配的自適應測試；對於某些學科，可實現測評與評價的自動化，這對於提供評價的品質、保證評價的一致性和公正性，降低評價代價，都具有重要的意義；CAA得到的各種相關資料可自動產生診斷分析報告，這對促進教育評價的量化研究，也具有極為深遠的意義。

二、電腦輔助評價的指導理論

    目前，CAA主要採用經典測量理論（CTT Classical Test Theory）和項目反應理論（IRTItem Reponse Theory）來進行題庫的建設。兩種理論的核心部分是數學模型，它們是基於不同的假設提出的：經典測量理論採用的是線性定性模型；項目反應理論採用的是非線性機率模型。

    CTT是２０世紀初提出來的，對於CTT，經常使用的測量指標有平均分和標準差。CTT存在一定的局限性，突出的表現在以下幾個方面：

    CTT用於評價試題品質的指標（如難度、區分度）嚴重依賴於被測試樣本，對同一問題，如果被測試樣本能力水平差異大，則區分度值會很高，反之，區分度值則很低；

    ● CTT只適用於測驗被測試者相對能力水平（常模參照測驗），不適於考察實際能力水平（目標參照測驗），例如在目標參照測驗中，如果被測使者全部不能通過測驗，則無法計算難度和區分度；

    ● CTT測驗某項能力或知識水平時，必須同時使用同一套測驗題，否則測驗結果無法直接進行比較。

IRT是針對CTT的不足而提出來的一種新的測驗理論。IRT包括項目反映模型、項目反映模型的參數估計、項目與測驗的資訊函數三個面的內容。IRT認為，被試對測驗的反應受某種心理特質支配，測驗的結果和這種特質之間所存在的關係可用特定的項目反應模型曲線來描述。目前應用較廣的是由伯恩鮑姆於１９５７年提出的單維邏輯斯蒂模型，可以用PJQ

=Qabc描述，a、b、c標識項目的品質參數，分別是區分度參數、難度參數和猜測參數，表示被試關於第ｊ題的正確反應機率。項目的品質參數值都不能由直接測量得到，必須通過對被試的反應資料進行估計來求出，通常採用的是極大似然估計法。資訊函數的引入，提供了測驗精度的確定資訊，從而可以針對各水平上的能力特質更好地控制測量誤差。

項目反應理論雖然克服了經典測試理論的一些缺點，但是目前還存在著許多問題沒有解決，如測試依賴於大量的、預先準備的、高品質的試題，而這在現實普通教育領域中很難完全做到。但是勿庸置疑的是項目反應理論代表了今後測試理論和實踐探討的發展方向。

三、電腦輔助評價發展現狀１、Paper-Based的電腦輔助測試

    CAA發展初期，利用的是游標閱讀器OMR和光學字元閱讀器OCR技術。OMR能將各種類型的客觀題按機器上規定的格式，輸入正確答案，然後由閱讀器改卷，對客觀選擇題顯示了十分強大的處理能力。初期OCR採用光電反射方式，現在OCR首先整個映像抓取，然後分析識別字元。

２、單機版電腦輔助評價PC-CAA

    PC-CAA在評價過程中，PC之間處於孤立狀態，資訊和資料的傳輸通過機器內部來實現，沒有引入網路傳送的概念。這一類CAA系統，一般有專門的系統安裝軟體。PC-CAA對於一次性的大型社會化考試和總結性的測試還比較適合。但對於大數量被試群體、題庫需要經常更新的測評，則不是很適合。

３、網路版電腦輔助評價WEB-CAA

    WEB-CAA通過Internet或LAN從網路伺服器資料庫中提取資訊，然後被試在用戶端做出一定的選擇反應，再一次通過網路提交被試資訊。整個過程中，用戶端只是一個工具而已，評價結束後，用戶端沒有任何的資訊殘留，所有被試的資訊都被提交在伺服器端的資料庫中，然後評價系統從資料庫中提取被試資訊，得出評價結果，通過WEB或LAN返回到用戶端。

４、電腦自適應測驗CAT

    ＣＡＴ是在項目反應理論基礎上發展起來的一種測驗，測驗的編製者認為，要測量一個人的能力，最理想的項目就是難度適中的項目，即他答對或答錯的機率都在０．５左右。在測驗開始時，電腦一般給出一個難度中等的題目，如果被試做對，電腦就會估計他的能力高於中等水平，然後再給他一個難度高一點的題目；如果他做錯，電腦就會估計他的能力低於中等水平，然後給他一個難度較低一點的題目。電腦根據被試第二題的回答情況，對其能力再作估計，在第二次估計基礎上，電腦在題庫中選擇最接近他能力估計值的題目，接著根據被試反應，對其能力再進行估計。這樣，隨著被試做的題目增多，電腦對他能力的估計精度越來越高，最後其估計值將收斂於一點，該點就是該被試的能力較精確的估計值。

５、電腦輔助記錄

    除了採用測試手段進行評價以外，還可以通過對被試行為表現的記錄和追蹤擷取相關資訊實施評價，這就是電腦輔助記錄的研究內容，其中電子作品（e-works）和電子檔案（e-portfolio）是影響最大、研究也最為廣泛的一種電腦輔助評價策略。

四、電腦輔助評價的發展趨勢１、電腦輔助測試進階元認知能力的探索

    CAA要想測量被試的進階認知能力，必須設計出高品質、高水準的試題。而編製和設計試題是一項極其複雜而又耗費大量人力和時間的工作，涉及到很多內容，比如確定題型、題目的考核點、題目的測試屬性（難度、區分度等）、設定分值、組織試卷等。目前，主要研究體現在對客觀題的改造和主觀題的編製這兩個層面上。

從根本上解決題型單一的困境是突破″選擇″。目前，前景看好的一種題型是操作應用題。

２、電腦輔助形成性教學評價

    儘管目前ＣＡＡ在教育領域內應用的主導形式還是電腦輔助總結性評價，但是對電腦支援的形成性評價的關注和研究還是挺多的。如伯明翰大學利用上文提到的Triads系統對化學工程系的學生開展形成性的教學評價，並且取得了良好的效果。

３、電腦輔助記錄與電腦輔助測試整合

    CAA應用的直接結果之一就是閱卷情況能自動進入資訊管理系統和學生記錄資料庫，電腦輔助記錄與電腦輔助測試整合是一種全新形式。一方面通過電腦輔助記錄建立被試的檔案，對於被試平時學習過程中的一些創新思維和問題解決的結果運用現代資訊技術提供的環境表達出來，以電子作品的形式提交到伺服器，然後由專門的教師進行評價，給出評價結果。另一方面，便是普通的CAA系統，對於被試測試結果按照一定比例與被試平時檔案中的記錄去匹配協調，得出被試最終的測評結果，這種結果一般比較客觀準確。目前大多數的研究還在記錄和測評兩個方面分別進行，對於兩者的整合還不多見。

４、資料採礦和知識發現在CAA中的應用

    在應用CAA的過程中，將產生大量的與評價有關的資料，尤其是在現代遠程教育的背景下，資料量是極其龐大的。將這些資料與師生資訊庫、教學過程資訊庫中的資料結合，作為資料採礦（KM）和知識發現（KDD）的資料來源，將有可能挖掘出隱藏在資料背後的教育模式和規律，為教育決策提供可靠的依據。如何應用資料採礦和知識發現的理論和方法，從CAA資料庫中發現並提取隱藏在其中的規律和趨勢，將是未來CAA領域的一個研究新課題。

５、網路考試系統的資料安全性研究

    網路考試系統具有瞬間資料量大、資料準確性和安全性要求較高的特點，資料安全性研究主要從系統的體繫結構、防火牆和系統的加密技術這些層面考慮。

 如果被試數目很大的話，將功能整合在伺服器端，使考試系統的介面、資料訪問、資料存放區、資料管理等都由服務端程式完成，則有可能使伺服器成為網路資料庫訪問的瓶頸。因此，應該採用多伺服器的模式，共同承擔資料的儲存、訪問和管理。

    同樣的道理，傳統的網路防火牆是位於學生考試用機與伺服器之間，當考試過程中有大量的資料通過該防火牆時，由於裝有防火牆軟體的電腦要對所有通過的資料包進行分析而佔用大量的系統時間，極易造成網路資料堵塞，影響考試的正常進行。因此，應採用伺服器叢集的方式，使叢集中的每一台伺服器都具有防火牆功能，共同負載網路資料的分析和處理，有效均衡網路負載。

    在考試系統中，需要保密的環節較多，如防止考前試題泄露、考後學生答卷被篡改以及資料在傳輸過程中被截取等，解決這些問題可以採用檔案加密的技術。