Ｑ：
找新竹教育大學教育所或清大教育所或交大教育所。
1. 找論文題目的自變項
網路探索學習對國小四年級學童英語學習成就與學習動機之影響
2. 論文摘要友寫到自變項的
3. 關鍵字有態度。
4. 研究設計有寫到自變項的
Ｑ：
現在論文很多看成效和態度
以同學當變項，可以列出多少背景變項……。
你的背景變項
Ａ：性別、年齡、職業、
Ｑ：
以我們碩士班來想，可以想出多少變項？
問題一：你可以從這門課知道什麼？
我能知道寫論文所具備的要素、如何組織論文、訂論文的題目、知道有哪些以編製好的重要問卷。
問題二：我應該做什麼？
多看相關書籍、看研究文獻、多吸收關於數位學習的資訊、多聽演講、多注意外界的事物…，不斷吸收成長。
問題三：我希望能學到什麼？
我希望可以學到如何編測驗。
我希望學到編製一份信度與效度良好的問卷。
我希望學到把測驗放在網路上。
我希望學到如何設計一篇好的論文。
問題五：當研究生我能知道什麼？
我能知道如何找資料。
我能知道如何設計讓人理解的學習內容
問題六：作為數位所的研究生，我應該做什麼？
1. 多注意數位教材的研究
2. 多看教材的設計面
問題七：我的人生裡，我究竟能知道什麼東西？
我知道人生無常，要把握當下
我知道人的記憶是有限的，
上網找康德提出的問題。第一，我能知道什麼。第二，我應做什麼。第三，我希望什麼。
康德
先備知識，過去的考試，我們常常認為，學習成效是從我教這門課開始，但是我們有沒有想過，其實人的先輩知識，往往會形成測驗上的誤差。以前，早期琴法有抽測(每個教師都要學到拜耳72)，可是這個測驗，卻和老師沒有相關。
須掌握，什麼是先天？什麼是後天？測驗最難克服的就是如何分辨，什麼是後天學到的東西？網路的題目更少，更難克服。常模在網路測驗上更難克服，只能用相對，而不是絕對。
建構主義：基模是慢慢建構起來的。
常模：
標準測驗，例如：智力測驗
常模
定義「一個具有代表性的樣本團體在測驗上實際得到的分數之分佈」，換句話說，對一群人進行測驗其測驗得分的分佈就是常模。因為常模是做為受測者測驗分數比對的對象，常模建立時受測對象(常模樣本)的選擇就很重要，比對不同常模樣本將可能有不同的結果。
一般而言，在建立常模時測驗開發者會注意以下各點，測驗使用者在評估測驗品質的好壞與測驗的適當性，也可從這幾個方面來思考。
一般而言，在建立常模時測驗開發者會注意以下各點，測驗使用者在評估測驗品質的好壞與測驗的適當性，也可從這幾個方面來思考。
(1)常模樣本的代表性
常模樣本的各項特徵是否能代表其所欲推論的群體，例如：若欲建立台灣在職人員的常模，在抽樣時僅選取高科技產業的在職人員施測，則其代表性就會令人質疑。現在有許多的測驗係直接由國外引進，並未建立台灣的常模。
(2)常模樣本的大小
常模樣本人數若太小，通常不具足夠的穩定度，容易出現誤差，若再抽一群人數相同的樣本出來施測，前後二次測驗分數容易產生不同的情況，所以常模的樣本人數不宜太少。
(3)常模的新近性
社會環境變遷，整體心理特質、態度、價值觀或知識技能也易隨之變遷，十幾二十年前所建立的常模是否能代表現在的狀況，因此測驗發展者是需要視情形重新修訂常模的，測驗使用者在使用時也應注意常模建立的時間。
常模通常用於大型的測驗，如基測、指考等等的落點分析。有時信、效度也是一種常模。
請問一下上周考試焦慮，37題基本上有幾個面向？
找一個實驗組和對照組前測，一個平均７０分，一個平均８０分，後側１個８５、１個８６，是不能做的。
一定前測相同才能比前後測。
Ｑ：輸入「共識評量」關鍵字？
專家共識評量（consensual assessment）
— Amabile（1996）提出，藉由領域中的專家，依據一定程序針對作品進行「創意」程度與品質的評量。
— 具信、效度之評量。
— 「作業」、「受試者」、「評分者」三方面。
— 學習者實際產出可觀察的成品或反應。並允許彈性、變通或新奇的反應，而產出作品並不需要太多的特殊技能。
— 對於受試者應該提供相同的指導與材料。
— 評分者本身必須在此領域或問題上具有經驗，而在評分過程中需採隨機次序、相對標準以評定所有產品之各個向度，同時為避免相互影響之效應，評分者必須各自獨立評分。
— 共識評量的實徵研究可歸納出：
◦ (1)共識評量是具有信度的評量，因為所評定的相對創造力。
◦ (2)評定結果能反應出創意表現上之個別差異；
◦ (3)可廣泛運用於各個新領域或是新的作業型態；
◦ (4)相對於傳統創造力測驗而言，共識評量比較耗時，但卻更具外在效度，因為所評定的作品為學習者的真實呈現。
— Besmer（1998）發展創意產品語意量表為評量工具（Creative Product Semanric Scale），探討所謂「有創意」的作品有何特質，其量表經過驗證性因素分析後，得出新奇性（novelty）、可行性（resolution）與精緻化（elaboration & synthesis）三個創意產品指標。
— 專家共識評量創意產品之實施過程必須符合以下幾點要求：
◦ 1.受試者需要產出一件具體、可觀察的作品以供評量。
◦ 2.專家間評分的穩定性表示共識存在，故以評分者間一致度代表測量之有效性與一致性。
◦ 3.必須選擇合適的專家，評分者需具備作品領域中有一定程度的經驗、資訊與知識，合適評分規準有了解。
◦ 4.評分時採用專家獨力評分、隨機排列作品順序與隨機排列規準順序等程序作業。
◦ 5.評分所使用的規準除了創意之外尚需包含技巧與整體美感。
◦ 6.評分標準為作品之間的相對標準而非某個嚴格的絕對標準。
— 創意作品專家共識評量之實徵研究結果可歸納出以下幾點
◦ (1)各領域對領域創造力的確有一定的共識存在；
◦ (2)專家共識評量技術除了有不錯的信度與內在建構效度之外，評量結果也與其他測量方式相符，具有外在效度；
◦ (3)在專家的選擇上，研究發現若是創意作品本身不需太複雜的技術，為一般人較熟悉的領域；
◦ (4)在評分的標準上皆包含了創意、技巧與整體美感。
— 並未有特定研究針對創意產品測量的內容效度進行檢驗。
資料來源：http://mathed.ntcu.edu.tw/person/ehhwang/第八章%20網路合作學習的評量.ppt
兩大發展趨勢！
網路上、統計平台
美感、價值判斷適用共識評量。
同儕互評v.s專家共識評量
同儕互評：沒有一定共識就評分，沒有回饋機制。
專家共識評量：專家先討論出共識，先請其他老師，找出構圖好的，例如：線條好、色彩好…等等，挑出好作品，再請不同老師排列，最後就有範本，這一些是86-90，這些是91-95。
肯德爾和諧係數
Kendall
建立共識評量的統計指標。
