Lab Experiments and Quasi (Field) Experiments 中央大學. 資訊管理系 范錚強 mailto: updated 6
中央資管:范錚強 2 Learning Objectives Understand... Uses for experimentation. Advantages and disadvantages of the experimental method. Seven steps of a well-planned experiment. Internal and external validity with experimental research designs. Three types of experimental designs and the variations of each.
中央資管:范錚強 3 研究效度間的取捨 學術性研究 內部效度 構念效度 統計結論效度 外部效度 實務性研究、應用研究 內部效度 外部效度 依變數的構念效度 統計結論效 度 自變數的構念效度 在進行研究設計時,研究者必須清醒的對各種效度 的考量,做全盤的取捨 例如:在研究管理者決策訂定的研究時,應該用學生為 樣本(高可行性、高內部效度、低外部效度);還是在 真實情境用真實的經理人員(低可行性、低內部效度、 高外部效度)
中央資管:范錚強 4 實驗室實驗 Lab Experiments 在一個嚴格「控制」的實驗室情境之下進行 盡可能排除干擾因素、排除可能的效度威脅 實驗室和和「真實世界」不同 外部效度可能不高 先操弄自變數,後衡量因變數 因果關係確定:內部效度 操弄 manipulate 自變數 有操弄,就需要考量倫理問題 衡量因變數、其他變數
中央資管:范錚強 5 Causal Evidence Agreement between IVs and DVs Time order of occurrence Extraneous variables did not influence DVs
中央資管:范錚強 6 Evaluation of Experiments Advantages Ability to manipulate IV Use of control group Control of extraneous variables Replication possible Field experiments possible Disadvantages Artificiality of labs Non-representative sample Expense Focus on present and immediate future Ethical limitations
中央資管:范錚強 7 實驗研究的優點 對「因果」關係的確定 排除外在變數的污染 方便性、成本考量 可以複製、重複實驗 可使用自然發生的事件
中央資管:范錚強 8 實驗研究的弱點 實驗室的人造情境 一些特定樣本可能產生偏誤 可能會 針對當前的問題比較有效 對樣本操弄的道德問題
中央資管:范錚強 9 Experimentation in the Research Process
中央資管:范錚強 10 Conducting an Experiment Specify treatment levels Control environment Choose experimental design Select and assign participants Pilot-test, revise, and test Collect data Analyze data Specify treatment variables
中央資管:范錚強 11 實驗過程 :實驗過程的設計影響效度 選擇適當的變數 選擇實驗設計 訂定自變數操弄的劑量(不同的程度) 控制環境變數 環境控制: blind; double-blind 選擇和分派樣本 隨機分派、配對、配額矩陣 (quota matrix) 先導實驗、調整、測試 分析資料
中央資管:范錚強 12 實驗研究 實驗室實驗 Lab experiments 真實實驗 True-experiments 在實驗室中進行 現場實驗 Field experiments 準實驗 Quasi-experiments 在自然情境下的現場中進行 模擬實驗 利用電腦模擬實驗情境
中央資管:范錚強 13 實驗室實驗現場實驗 Field Experiment 人造情境 ─ 真實性低 很少外在變數 控制嚴密 低成本 時程短 樣本知道參與實驗 自然情境 ─ 真實性高 很多外在變數 控制鬆散 高成本 時程長 樣本不知道參與實驗 Co pyright © 2000 by Harcourt, Inc. All rights reserved 實驗室實驗和現場實驗的比較
中央資管:范錚強 14 Experiment: Placement of Benefits Module
中央資管:范錚強 15 Measurement Options Scaling techniques Physiological measures Physiological measures Options Paper-and-pencil tests Observation Self- administered instruments
中央資管:范錚強 16 Validity in Experimentation ExternalInternal
中央資管:范錚強 17 Threats to Internal Validity Threats MaturationHistory Testing Instrumentation Selection Statistical regression Experimental mortality
中央資管:范錚強 18 Additional Threats to Internal Validity Diffusion of treatment Compensatory equalization Compensatory rivalry Resentful disadvantaged Local history
中央資管:范錚強 19 Threats to External Validity 樣本的代表性 利用學生樣本 但是,如果是網路購物、網路學習 …
中央資管:范錚強 20 Experimental Research Designs Pre-experiments True experiments Field experiments
中央資管:范錚強 21 Selecting and Assigning Participants Random assignment Matching
中央資管:范錚強 22 Quota Matrix Example
中央資管:范錚強 23 實驗設計的一些慣用符號 X: manipulation 操弄 O: observation 觀察 R: random assignment 隨機分派 M: matched pair assignment 配對分派
中央資管:范錚強 24 實驗設計:假實驗 Pre-experimentation (One-Shot) After-Only Case Study X O Pre-experiment
中央資管:范錚強 25 One Group Pretest-Posttest Design O 1 X O 2 Pre-experiment
中央資管:范錚強 26 Static Group Comparison X O 1 O 2 Pre-experiment
中央資管:范錚強 27 真實驗 True Experimentation Posttest-Only Control Group Design True experiment RXO1RO2RXO1RO2
中央資管:范錚強 28 Pretest-Posttest Control Group Design RO1XO2RO3O4RO1XO2RO3O4 True experiment Effect= (O 2 - O 1 ) vs (O 4 - O 3 ) Deal well with the major internal validity problems
中央資管:范錚強 29 真實驗 2 Completely Randomized Design E.g., 3 treatment levels RO 1 X 2 O 3 RO 3 X 3 O 4 RO 5 X 5 O 6
中央資管:范錚強 30 真實驗 3 Completely Randomized Design E.g., 3 treatment levels RO 1 X 2 O 3 RO 3 X 3 O 4 RO 5 X 5 O 6
中央資管:范錚強 31 Randomized Block Design 真實驗 4 Blocking Factor Active FactorHighMediumLow 7 centsRX1 12 centsRX2 17 centsRX3
中央資管:范錚強 32 真實驗 5 Latin Square Design Customer Income Store SizeHighMediumLow LargeX3X1X2 MediumX2X3X1 SmallX1X2X3
中央資管:范錚強 33 Factorial Design Covariance Analysis 真實驗 6 Price Spread Unit price information?7 Cents12 Cents17 Cents YesX1Y1X1Y2X1Y3 NoX2Y1X2Y2X2Y3
中央資管:范錚強 34 Non Equivalent Control Group Design Separate Sample Pretest-Posttest Design Group Time Series Design Field Experiments: Quasi- or Semi-Experiments
中央資管:范錚強 35 Nonequivalent Control Group Design O1XO2O3O4O1XO2O3O4 Field experiment
中央資管:范錚強 36 Separate Sample Pretest-Posttest Design RO 1 (X) R XO 2 Field experiment
中央資管:范錚強 37 Group Time Series Design R O 1 O 2 O 3 X O 4 O 5 O 6 R O 7 O 8 O 9 O 10 O 11 O 12 Field experiment
中央資管:范錚強 38 Job Enrichment Quasi- Experiment
中央資管:范錚強 39 Main effect The influence of a single independent variable on a dependent variable. Interaction effect The influence on a dependent variable by combinations of two or more independent variables. 主效果和互動效果
中央資管:范錚強 40 Men Women Ad A Ad B Main Effects of Gender Main Effects of Ad > > 2 x 2 Factorial Design
中央資管:范錚強 Believability 變數互動 Men Women Ad AAd B
中央資管:范錚強 42 強設計: Lab Experiments 實驗室設計能排除最多的效度威脅 一般而言,內部效度最高 外部效度偏低 強設計:內部效度高 最能夠放心地做因果關係的結論 很多批評 樣本無真實性、外部效度低 系統開發的結果 模擬實驗