量表等級_再測信度、施測者間信度

Scale-level test-retest/inter-rater agreement/association

(ICC/ Pearson r)

一、概念

量表的總分在不同時間、同一情境下，重複施測於同一受試者時多次測驗結果的一致性。

二、統計分析

l  ICC (Intraclass Correlation Coefficients)：

兩次測驗或兩位施測者之相關性及一致性

1.          依照不同的研究設計，使用不同的ICC Form

2.          判斷流程：依序選擇Model à Type à Definition

3.          Model

(1)   One-way random effects：設定好同一位個案要由幾個rater來評，假設為兩個。有一個rater pool。將個案編號，從pool裡隨機抽兩個，評完放回去，下一個個案，再抽。結果可能沒那麼好，但概化程度高。

(2)   Two-way random effects：從rater pool抽兩個，評所有case。

(3)   Two-way mixed effects：結果可能較好，但概化程度差。

4.          Type

(1)   Single rater/measurement：用一位rater的分數來計

(2)   Multiple rater/measurement：多位raters的分數取平均

à理論上，應該要平均（Ex. OSCE時，個別rater差異大，用三個rater的平均較可信；聯考作文由三個老師來改…）但臨床上，受限於現實，通常是用前者。

5.          Definition

(1)   Absolute agreement: 反應評估結果的差異（完全一致）

(2)   Consistency: 反應評估結果的趨勢（只看相關）

6.          ICC解讀

前提 ：至少 30 位具特異性之樣本和至少 3 位施測者

*不是只看單純的數值，還要看confidence interval*

Q1: ICC models的選擇需考慮那些因素？請以 inter-rater reliability 說明之。

A: （即Model à Type à Definition）

(1)       研究設計（怎麼產生rater, rater的代表性）

(2)       Single or multiple

(3)       是看完全一致性（臨床通常看）還是相關性

Q2: ICC 不同 models 之分析結果，在解釋上，有哪些主要差異?

A:（概化的差異；最難做的，最能概化）

- rater 的選擇方式與評個案的組合不同。

- one-way random effects 較有代表性，較能概化。

- two-way random effects, two-way mixed effects 均為方便樣本，概化程度有限。

l  Pearson r

1.          多次測驗或多個施測者之間的相關性

2.          價值有限

3.          不同工具/研究間難相比較（個案不同、時間不同）

Q1:以 ICC, Pearson r, and paired t test 分析 scale-level test-retest/inter-rater reliability 各有何缺點? 各容易受到那些因素影響?

A:

(1)   ICC提供的較多元，但看不清到底是什麼造成，為目前主流

Pearson r + pair t可更詳細，但解讀比較麻煩

ICC將相關性與完全一致性混著看

Pearson r 　+　 pair T 搭配看，會比ICC得到的訊息更詳細完整

（相關性）＋（兩者的差異agreement）

(2)   ICC能看三個以上的相關性

Pearson r和pair t只能看兩兩之間

(3)   均受資料的［分布與集中程度］影響

Q2: ICC, Pearson r, and paired t test 主要提供 group-level 或 individual-level test-retest reliability 的訊息? 各能告訴我們什麼具體訊息?

A: group-level。只能知道大致的信度。