1000525網路測驗與評量上課筆記

※Join net使用方法

※Join net上傳檔案

檔案>列印>joinnet printer

※看網頁

直接在共同瀏覽網頁貼網址

※Google有問卷，可以做填答。

※至帆學長報告的是

專家評量表是自己訂定的，可以用在不同老師評學生分數，肯德爾和諧係數

1000518網路測驗與評量

Q：覺得評量平台的要素有哪些？
A：我覺得多元性、定義明確、

※多元評量：
評量是含有不同取向、不同面向，例如說

※檔案評量：
為什麼要報告？因為你必須在裡面重組一遍，透過報告的方式，所以檔案評量，要有解說和重組的歷程。是二次評量的東西。他可以透過檢核表，列出重要評鑑的要點。
>多元評量
>依循數位學習結果帶來的(以學生為中心，建構式學習)，所以走向檔案評量。


※面試遇到的問題：
當你面試的時候，
假設別人十分鐘，你五分鐘，有可能是因為已經找到可以評量你的東西。

Q：評鑑和評量哪個信度高？
信度是透過重複性，評鑑的信度比測量的信度高。質性研究。
質性研究的危機，有時只有蒐集一次的資料。

※實作評量：
必須一對一的。
模擬情境。如，開飛機、實作。
評量是學習的起點。

Cart sorting

網站
找交通和電話。階層性
越多的分愈多層。
以使用者分類，就會有新的分類
思考不同，就會形成和版本一樣

創造力

1000511網路測驗與評量

做共識評量的活動

發一張紙給每個人，折成(3*16)(寬*高)。
有76張圖片，分數1-5，數字越大，分數越高。
看圖片給予分數，加總除以76，看平均幾分。
老師教完美術鑑賞程度，叫我們再做一次分數，回家加總除以76。


再拿去和別人比對，看和別人是否有共識，也可以和別人比平均。
一組三人的平均會接近三個的平均。
同質性分組：把平均差不多的人放在一起。

美術課，2-3年級的學生考試畫的圖。
兒童畫，小朋友小時候畫他所想畫的,長大畫他看到的。

※如何評兒童畫？
1.形狀(細膩，例如樹的分化)。愈細膩愈高分。
2.人數(多、大、方向(正面、側面或背面))，變化多、動作不同。變化愈多，分數愈高。
3.種類(服裝多、)
4.圖案(背景圖案)
5.重視(哪裡畫大，即為重視，或是他觀察特別細膩的地方)
6.空間：地平線，叫做基底線。

老師曾做三人環抱一棵樹的論文。
評畫圖可評能力。
小時了了，大未必佳。

測量：有尺度、尺標
測驗：最低。
評量：不帶價值判斷。
評鑑：非量化，每一個評鑑都有一個理想的模式，拿那個東西與現實的東西做價值的判斷，主觀。

下禮拜要講故事
可以講自己學到的東西，也可以是自己的故事。至少5分鐘。

1000504數位學習研究方法

※評鑑的目的在哪？
評鑑最困難的地方，在於建立一個觀點。作為一個研究者，基本的立論點，因此常常很多人在設計完問卷之後，整個問卷的構面，是從理論討論出來的，常常會影響到你探討題目的面向。
舉例而言，氣候保護的問題，你問的問題，可以顯示你是關注水的汙染、土地的汙染等等。問卷一定會找到說，如果台灣現存的環境教育，應該在哪個面向，從這裡面，你的觀點如何建立。你要建構問卷，你想要的觀點是什麼？有些人或許我們到目前為止，找到議題如果立刻建構問卷，是無法問出答案的。任何問卷任何評量，應該要有文獻探討完，在開始建構問卷，觀點的建構是由於文獻中找出來的。
※研究中有三個命題：
一、把困難變簡單。
量化、指標、面向。找尋過去測驗的模型。
二、把簡單變成有深度。
當你問了這一題題目，必須指出他的理論背景是什麼？當一次問卷的考試出來，我總是覺得別人比我聰明的多。
三、讓有深度變成有趣。

研究中，可以從理論模型(例如：科技接受度)，把它轉換成評鑑指標，例如：焦慮問卷。考試焦慮量表。

我們如何撰寫一個別人覺得有趣的評鑑報告，如何可以克服考試緊張。哪些人是可以克服考試緊張呢？這部分，與你過去的學術關聯不大，反倒與你過去的社會接觸脈絡的關聯度有關。從這個角度來看，必須了解到，等到寫報告時，都是脈絡。

把三個面向湊在一起(研究問題)，例如spss，其他都很簡單。

口試中，研究發現和研究結論有什麼不同？研究發現有45%學生.....有55%學生..。研究結論，還要解釋現象，而推出的結論。跑spss出來時，要想想你花如此多的時間，之後到底有什麼樣的結論。只不過是透過統計數據去支持你的觀點。

你去發表，就是在講一個故事，從發現現象到得到什麼樣的答案。你不能發現現象而結束現象，任何一個研究，你一定是從研究中找到自己的立足點。

找文獻探討，你會發現有些東西你可以放在第二章，加越多觀點，你的觀點會更集中，更有說服力，支持你的各種論點。

畢不了業的人，因為他太過認真，發現一個曠世鉅作，一直發現別人已經做出來的。
有些人想要找別人沒有發現過的，做研究，不在於找出世界上不知道的事，而是在於找出你自己不知道的事。此問題點，反倒是很認真的學生，就很慢畢業。反倒是火燒屁股，一個學期就可以畢業。

論文口試忌諱
不能和口試委員或指導教授吵架。
你只要能夠說出學者如何說的，除非你找不到重量級的教授幫你檔。加入他們團隊觀點，延伸他們的想法"教授沒教的事"中有說。

※做研究要有自己的論點。找不到就要看書，去批判他。

案例：地理教學過去常常要死背，所以地理實查會不會讓學生對地理更有興趣，可以幫助學生學習。

數位所上的學生：畢業一定要作和數位學習相關的題目。例如：數位學習、網路測驗、工具面、實務面

數位所和教育所不同處，我們沒有30-50年的文獻。

寫作是讓你的思想(思考)持續的(活動)歷程。透過說故事寫作，能夠讓你持續寫下去。
寫論文很簡單，只要拿A4紙，用手寫幾行字，然後拿去找教授。就可以開始找教授了。寫作要好看，要有故事性。把想的東西寫下來，要能夠轉換成故事。

對於部落格，你究竟知道哪些事？
對於部落格，你還可以做哪些事？

最後老師的希望，藉由說故事，作期末的評量，期末，希望我們告訴老師一個故事，此故事不是直接拿部落格的來說，而是，找出一兩個論點。(其實論文也是，只要有一兩個論點就可以做出囉!!)

下周希望做共識評量？之後會交檔案如何評量
HM心智圖如何評量？

1000427網路測驗與評量

Ｑ：

找新竹教育大學教育所或清大教育所或交大教育所。

1.          找論文題目的自變項

網路探索學習對國小四年級學童英語學習成就與學習動機之影響

2.          論文摘要友寫到自變項的

3.          關鍵字有態度。

4.          研究設計有寫到自變項的

Ｑ：

現在論文很多看成效和態度

以同學當變項，可以列出多少背景變項……。

你的背景變項

Ａ：性別、年齡、職業、

Ｑ：

以我們碩士班來想，可以想出多少變項？

問題一：你可以從這門課知道什麼？

我能知道寫論文所具備的要素、如何組織論文、訂論文的題目、知道有哪些以編製好的重要問卷。

問題二：我應該做什麼？

多看相關書籍、看研究文獻、多吸收關於數位學習的資訊、多聽演講、多注意外界的事物…，不斷吸收成長。

問題三：我希望能學到什麼？

我希望可以學到如何編測驗。

我希望學到編製一份信度與效度良好的問卷。

我希望學到把測驗放在網路上。

我希望學到如何設計一篇好的論文。

問題五：當研究生我能知道什麼？

我能知道如何找資料。

我能知道如何設計讓人理解的學習內容

問題六：作為數位所的研究生，我應該做什麼？

1.          多注意數位教材的研究

2.          多看教材的設計面

問題七：我的人生裡，我究竟能知道什麼東西？

我知道人生無常，要把握當下

我知道人的記憶是有限的，

上網找康德提出的問題。第一，我能知道什麼。第二，我應做什麼。第三，我希望什麼。

康德

先備知識，過去的考試，我們常常認為，學習成效是從我教這門課開始，但是我們有沒有想過，其實人的先輩知識，往往會形成測驗上的誤差。以前，早期琴法有抽測(每個教師都要學到拜耳72)，可是這個測驗，卻和老師沒有相關。

須掌握，什麼是先天？什麼是後天？測驗最難克服的就是如何分辨，什麼是後天學到的東西？網路的題目更少，更難克服。常模在網路測驗上更難克服，只能用相對，而不是絕對。

建構主義：基模是慢慢建構起來的。

常模：

標準測驗，例如：智力測驗

常模

定義「一個具有代表性的樣本團體在測驗上實際得到的分數之分佈」，換句話說，對一群人進行測驗其測驗得分的分佈就是常模。因為常模是做為受測者測驗分數比對的對象，常模建立時受測對象(常模樣本)的選擇就很重要，比對不同常模樣本將可能有不同的結果。
一般而言，在建立常模時測驗開發者會注意以下各點，測驗使用者在評估測驗品質的好壞與測驗的適當性，也可從這幾個方面來思考。

(1)常模樣本的代表性

常模樣本的各項特徵是否能代表其所欲推論的群體，例如：若欲建立台灣在職人員的常模，在抽樣時僅選取高科技產業的在職人員施測，則其代表性就會令人質疑。現在有許多的測驗係直接由國外引進，並未建立台灣的常模。

(2)常模樣本的大小

常模樣本人數若太小，通常不具足夠的穩定度，容易出現誤差，若再抽一群人數相同的樣本出來施測，前後二次測驗分數容易產生不同的情況，所以常模的樣本人數不宜太少。

(3)常模的新近性

社會環境變遷，整體心理特質、態度、價值觀或知識技能也易隨之變遷，十幾二十年前所建立的常模是否能代表現在的狀況，因此測驗發展者是需要視情形重新修訂常模的，測驗使用者在使用時也應注意常模建立的時間。

常模通常用於大型的測驗，如基測、指考等等的落點分析。有時信、效度也是一種常模。

請問一下上周考試焦慮，37題基本上有幾個面向？

找一個實驗組和對照組前測，一個平均７０分，一個平均８０分，後側１個８５、１個８６，是不能做的。

一定前測相同才能比前後測。

Ｑ：輸入「共識評量」關鍵字？

專家共識評量（consensual assessment）

—  Amabile（1996）提出，藉由領域中的專家，依據一定程序針對作品進行「創意」程度與品質的評量。

—  具信、效度之評量。

—   「作業」、「受試者」、「評分者」三方面。

—  學習者實際產出可觀察的成品或反應。並允許彈性、變通或新奇的反應，而產出作品並不需要太多的特殊技能。

—  對於受試者應該提供相同的指導與材料。

—  評分者本身必須在此領域或問題上具有經驗，而在評分過程中需採隨機次序、相對標準以評定所有產品之各個向度，同時為避免相互影響之效應，評分者必須各自獨立評分。

—  共識評量的實徵研究可歸納出：

◦      (1)共識評量是具有信度的評量，因為所評定的相對創造力。

◦      (2)評定結果能反應出創意表現上之個別差異；

◦      (3)可廣泛運用於各個新領域或是新的作業型態；

◦      (4)相對於傳統創造力測驗而言，共識評量比較耗時，但卻更具外在效度，因為所評定的作品為學習者的真實呈現。

—  Besmer（1998）發展創意產品語意量表為評量工具（Creative Product Semanric Scale），探討所謂「有創意」的作品有何特質，其量表經過驗證性因素分析後，得出新奇性（novelty）、可行性（resolution）與精緻化（elaboration & synthesis）三個創意產品指標。

—  專家共識評量創意產品之實施過程必須符合以下幾點要求：

◦      1.受試者需要產出一件具體、可觀察的作品以供評量。

◦      2.專家間評分的穩定性表示共識存在，故以評分者間一致度代表測量之有效性與一致性。

◦      3.必須選擇合適的專家，評分者需具備作品領域中有一定程度的經驗、資訊與知識，合適評分規準有了解。

◦      4.評分時採用專家獨力評分、隨機排列作品順序與隨機排列規準順序等程序作業。

◦      5.評分所使用的規準除了創意之外尚需包含技巧與整體美感。

◦      6.評分標準為作品之間的相對標準而非某個嚴格的絕對標準。

—  創意作品專家共識評量之實徵研究結果可歸納出以下幾點

◦      (1)各領域對領域創造力的確有一定的共識存在；

◦      (2)專家共識評量技術除了有不錯的信度與內在建構效度之外，評量結果也與其他測量方式相符，具有外在效度；

◦      (3)在專家的選擇上，研究發現若是創意作品本身不需太複雜的技術，為一般人較熟悉的領域；

◦      (4)在評分的標準上皆包含了創意、技巧與整體美感。

—  並未有特定研究針對創意產品測量的內容效度進行檢驗。

資料來源：http://mathed.ntcu.edu.tw/person/ehhwang/第八章%20網路合作學習的評量.ppt

兩大發展趨勢！

網路上、統計平台

美感、價值判斷適用共識評量。

同儕互評v.s專家共識評量

同儕互評：沒有一定共識就評分，沒有回饋機制。

專家共識評量：專家先討論出共識，先請其他老師，找出構圖好的，例如：線條好、色彩好…等等，挑出好作品，再請不同老師排列，最後就有範本，這一些是86-90，這些是91-95。

肯德爾和諧係數

Kendall

建立共識評量的統計指標。

很難回答多高才是和諧。

課程網址：
http://140.126.36.92:85/moodle/

1000420網路測驗與評量~

網站http://www.mytest.com.tw/
是少數有在描述測驗的網站，描述的很完善喔!!

Q：對高中生數學的態度量表？
A：找適用於的測驗。

Q：找對未來論文有幫助的問卷？
研究題目：國小生使用英語線上聽說教材之學習成就？
研究對象：國小生
關鍵字：

A：507國民中學英文能力測驗系列（分甲、乙兩式）
網址：http://www.mytest.com.tw/成就測驗.files/507%20%20國民中學英文能力測驗.htm




老師覺得說，寧願自己編問卷，還不如去買問卷。
假設外面編好的問卷，對象是國小生，但我們的研究對象是成人，那會不會被別人質疑呢？
答案是會的。

就Sarason考焦量表(TAS) 而言，
邊測驗之前，可以看文獻中，是否有人已提出，考試會焦慮有哪些面向，再依據這些面向，去出考題。

測驗是學習的起點，測驗是診斷工具的。

測驗會出現陷阱題嗎？
例如：
1枝鉛筆10元，3支鉛筆多少錢？
1枝鉛筆10元，3打鉛筆多少錢？

考試有的是考解題速度？
同樣時間考10題，有時候同樣時間考100題。

測驗是別人精心架構回去的。
假設你出50題，找學生來測，分析這類題型，屬於陷阱題，還是基本題，如果這題成績好答錯(鑑別度低，屬於陷阱題)

推理題，又是另一類型。

概念題、死背題、推理、綜合性。好的題目題型多元化。
題型分別考哪類型題目？
是非：多為有固定答案，固定範圍。所以研究所範圍大，是非題型難以測出學生的能力。
選擇：

創造力也是一種測驗，創造力不可用成就測驗考，但創造力可以拿來考成就測驗，因為創造力範圍大，範圍大(創造力)的可以測範圍小(成就測驗)的。

1000330網路測驗與評量

1000330網路測驗與評量

老師建議回家讀

Evaluation System in e-Learning Through the Knowledge State Analysis Method

Sang-Tae Park, D. W. Byun, D. W. Park, Heebok Lee

Published in 2005.

http://faculty.ksu.edu.sa/Shammami/Documents/CSC%20541/Paper/370.pdf

測驗

光合作用

早上:製造氧氣

晚上：沒有陽光，變成二氧化碳。

提供學生問題解決。但老師要如何知道學生是否具備重要的觀念呢？

測驗的種類

認知性測驗：記憶、注意力

成就測驗

智力測驗

最早的智力測驗來自於誰？你覺得有動機才去了解。

人格測驗

老師告訴你你就擁有概念。

學習就是讓你在網路上找知識，找到了就是你的知識。

心理學：

掌握心理學的概念就好。

行為學派：工業革命

認知學派：強調一個學生的能力。電腦時代

發展心理學

學習心理學

為何做研究？

合作學習策略、資訊融入的策略。把兩個放在一起，就是一個研究。

前端

輸入：平時的數學能力、性別。

把學生分組：性別、社經背景、成就動機、學科能力

從這些部分，可以產生同質性合作，異質性研究。

或問卷調查、質性法

教學策略的區別，合作學習和個別化學習。

三角測量法：老師、學生和觀察者進行交叉比對。

後端

開發評量

如果未來找不到題目，可以做合作學習，或mobile learning。

解決評量這塊，評量方式會因為領域主題的不同而改變。

想創新的研究設計

測驗和評量不能當作結束，要當起點。(起始能力)

當我们反過來做起始性評量。

後端檔案評量。

歷程性:會不會不公平？

互評會較準確嗎?

學習結果：

非學習能改變的：

和學習有關的測驗：

成就測驗、態度量表、價值量表、

成就測驗能否做前測?一般而言，成就測驗是有一定的先備能力。他的前測，

有可能是上個階段的後測。成就測驗往往是後測，確定他的教學品質。

態度量表，例如態度、價值、興趣：

態度是具有延遲作用的，所以會比較久才會改變。

但

隨處可以學習，在教學上是負向的。

取樣：

有沒有學校可以讓你推論的？

信度和效度

信度：

某種趨向的一致性。

如果說兩個背景值，學生回答不同的答案，可能是

效度：

雙向細目表檢驗。(成就測驗)

有信度才會有效度。

因素分析：問卷題目有幾個面向？

出題目時，根據面向去發問。

專家

文獻也是專家。