2011年4月27日 星期三

1000427網路測驗與評量

Q:
找新竹教育大學教育所或清大教育所或交大教育所。
1.          找論文題目的自變項
網路探索學習對國小四年級學童英語學習成就與學習動機之影響
2.          論文摘要友寫到自變項的

3.          關鍵字有態度。
4.          研究設計有寫到自變項的

Q:
現在論文很多看成效和態度
以同學當變項,可以列出多少背景變項……。
你的背景變項
A:性別、年齡、職業、
Q:
以我們碩士班來想,可以想出多少變項?

問題一:你可以從這門課知道什麼?
我能知道寫論文所具備的要素、如何組織論文、訂論文的題目、知道有哪些以編製好的重要問卷。

問題二:我應該做什麼?
多看相關書籍、看研究文獻、多吸收關於數位學習的資訊、多聽演講、多注意外界的事物…,不斷吸收成長。

問題三:我希望能學到什麼?
我希望可以學到如何編測驗。
我希望學到編製一份信度與效度良好的問卷。
我希望學到把測驗放在網路上。
我希望學到如何設計一篇好的論文。

問題五:當研究生我能知道什麼?
我能知道如何找資料。
我能知道如何設計讓人理解的學習內容

問題六:作為數位所的研究生,我應該做什麼?
1.          多注意數位教材的研究
2.          多看教材的設計面
問題七:我的人生裡,我究竟能知道什麼東西?
我知道人生無常,要把握當下
我知道人的記憶是有限的,
上網找康德提出的問題。第一,我能知道什麼。第二,我應做什麼。第三,我希望什麼。

康德
先備知識,過去的考試,我們常常認為,學習成效是從我教這門課開始,但是我們有沒有想過,其實人的先輩知識,往往會形成測驗上的誤差。以前,早期琴法有抽測(每個教師都要學到拜耳72),可是這個測驗,卻和老師沒有相關。

須掌握,什麼是先天?什麼是後天?測驗最難克服的就是如何分辨,什麼是後天學到的東西?網路的題目更少,更難克服。常模在網路測驗上更難克服,只能用相對,而不是絕對。

建構主義:基模是慢慢建構起來的。

常模
標準測驗,例如:智力測驗

常模
定義「一個具有代表性的樣本團體在測驗上實際得到的分數之分佈」,換句話說,對一群人進行測驗其測驗得分的分佈就是常模。因為常模是做為受測者測驗分數比對的對象,常模建立時受測對象(常模樣本)的選擇就很重要,比對不同常模樣本將可能有不同的結果。
一般而言,在建立常模時測驗開發者會注意以下各點,測驗使用者在評估測驗品質的好壞與測驗的適當性,也可從這幾個方面來思考。
(1)常模樣本的代表性
常模樣本的各項特徵是否能代表其所欲推論的群體,例如:若欲建立台灣在職人員的常模,在抽樣時僅選取高科技產業的在職人員施測,則其代表性就會令人質疑。現在有許多的測驗係直接由國外引進,並未建立台灣的常模
(2)常模樣本的大小
常模樣本人數若太小,通常不具足夠的穩定度,容易出現誤差,若再抽一群人數相同的樣本出來施測,前後二次測驗分數容易產生不同的情況,所以常模的樣本人數不宜太少
(3)常模的新近性
社會環境變遷,整體心理特質、態度、價值觀或知識技能也易隨之變遷,十幾二十年前所建立的常模是否能代表現在的狀況,因此測驗發展者是需要視情形重新修訂常模的,測驗使用者在使用時也應注意常模建立的時間
常模通常用於大型的測驗,如基測、指考等等的落點分析。有時信、效度也是一種常模。

請問一下上周考試焦慮,37題基本上有幾個面向?

找一個實驗組和對照組前測,一個平均70分,一個平均80分,後側1個85、1個86,是不能做的。
一定前測相同才能比前後測。


Q:輸入「共識評量」關鍵字?
專家共識評量(consensual assessment
  Amabile1996)提出,藉由領域中的專家,依據一定程序針對作品進行「創意」程度與品質的評量。
  具信、效度之評量。
   「作業」、「受試者」、「評分者」三方面。
  學習者實際產出可觀察的成品或反應。並允許彈性、變通或新奇的反應,而產出作品並不需要太多的特殊技能。
  對於受試者應該提供相同的指導與材料。
  評分者本身必須在此領域或問題上具有經驗,而在評分過程中需採隨機次序、相對標準以評定所有產品之各個向度,同時為避免相互影響之效應,評分者必須各自獨立評分
  共識評量的實徵研究可歸納出:
      (1)共識評量是具有信度的評量,因為所評定的相對創造力
      (2)評定結果能反應出創意表現上之個別差異;
      (3)可廣泛運用於各個新領域或是新的作業型態;
      (4)相對於傳統創造力測驗而言,共識評量比較耗時,但卻更具外在效度,因為所評定的作品為學習者的真實呈現。
  Besmer1998)發展創意產品語意量表為評量工具(Creative Product Semanric Scale),探討所謂「有創意」的作品有何特質,其量表經過驗證性因素分析後,得出新奇性(novelty)、可行性(resolution)與精緻化(elaboration & synthesis三個創意產品指標。
  專家共識評量創意產品之實施過程必須符合以下幾點要求:
      1.受試者需要產出一件具體、可觀察的作品以供評量。
      2.專家間評分的穩定性表示共識存在,故以評分者間一致度代表測量之有效性一致性
      3.必須選擇合適的專家,評分者需具備作品領域中有一定程度的經驗、資訊與知識,合適評分規準有了解。
      4.評分時採用專家獨力評分、隨機排列作品順序隨機排列規準順序等程序作業。
      5.評分所使用的規準除了創意之外尚需包含技巧整體美感
      6.評分標準為作品之間的相對標準而非某個嚴格的絕對標準。
  創意作品專家共識評量之實徵研究結果可歸納出以下幾點
      (1)各領域對領域創造力的確有一定的共識存在;
      (2)專家共識評量技術除了有不錯的信度與內在建構效度之外,評量結果也與其他測量方式相符,具有外在效度
      (3)在專家的選擇上,研究發現若是創意作品本身不需太複雜的技術,為一般人較熟悉的領域;
      (4)在評分的標準上皆包含了創意、技巧與整體美感
  未有特定研究針對創意產品測量的內容效度進行檢驗
資料來源:http://mathed.ntcu.edu.tw/person/ehhwang/第八章%20網路合作學習的評量.ppt
兩大發展趨勢!
網路上、統計平台
美感、價值判斷適用共識評量。
同儕互評v.s專家共識評量
同儕互評:沒有一定共識就評分,沒有回饋機制。
專家共識評量:專家先討論出共識,先請其他老師,找出構圖好的,例如:線條好、色彩好等等,挑出好作品,再請不同老師排列,最後就有範本,這一些是86-90,這些是91-95

肯德爾和諧係數
Kendall
建立共識評量的統計指標。
很難回答多高才是和諧。

課程網址:
http://140.126.36.92:85/moodle/

沒有留言:

張貼留言