Link และ Family: ตัวหนึ่งกำหนดมาตรวัดผล อีกตัวกำหนดค่าคลาดเคลื่อนมาตรฐาน

Read the English version

บทคัดย่อ

เมื่อ outcome เป็นแบบ binary ให้เลือก effect measure ก่อนเลือก model: risk 10% กับ 20% ให้ risk difference 10% risk ratio 2.0 และ odds ratio 2.25 Link เป็นตัวกำหนดว่า coefficient หมายถึงอะไร logit link ให้ odds ratio และ log link ให้ risk ratio ไม่ว่าจะใช้ family ใด Family เป็นตัวกำหนด variance โดย binary outcome มี variance เท่ากับ p(1 − p) แต่ Poisson สมมติว่าเท่ากับ p ดังนั้น modified Poisson จึงยืมการ fit ของ Poisson มา แล้วเปลี่ยน standard error เป็น robust sandwich standard error Log-binomial regression มี variance ที่ถูกต้อง แต่ต้องรักษา fitted risk ทุกค่า คือ e ยกกำลัง linear predictor ให้ไม่เกิน 1 optimizer ของมันจึงต้องค้นหาชิดกำแพง และอาจไม่ converge Logistic regression ไม่เคยเจอกำแพงนี้ ส่วน modified Poisson เอากำแพงนี้ออก บทความนี้เดินตามทีละขั้นด้วยตัวเลขที่คำนวณให้เห็น ตั้งแต่ linear predictor ไปจนถึงเส้นทางของ optimizer ที่ไล่ไปตามกำแพง

🔍 คลิกเพื่อขยาย คลิกที่ใดก็ได้เพื่อปิด

สามคำถามที่ซ่อนอยู่ในคำเดียว

ทีมปริกำเนิด (perinatal team) กำลังวิเคราะห์การเสียชีวิตของทารกแรกเกิด (neonatal death) ใน birth cohort หนึ่ง outcome เป็น 0 หรือ 1 คือทารกเสียชีวิตในช่วง neonatal หรือไม่ exposure คือการฝากครรภ์ (antenatal care, ANC) และแผนการวิเคราะห์ระบุ logistic regression, log-binomial regression, modified Poisson regression และ robust standard error อ่านแล้วเหมือน model สี่ตัวที่แข่งกัน และไม่ชัดว่าทำไมการศึกษาเดียวต้องใช้มากขนาดนี้

ความงงมาจากคำว่า model ซึ่งตรงนี้เอาสามเรื่องมาปนกัน:

1. อยากรายงาน effect อะไร
2. ใช้ link อะไร
3. สมมติ variance แบบไหน

พอแยกสามเรื่องนี้ออกจากกัน ทุกอย่างจะง่ายขึ้นมาก

เลือก effect measure ก่อน

แก่นที่สุดคือ เรามีหลาย model เพราะมันตอบคนละ effect measure หรือใช้คนละวิธีคำนวณ สมมติ outcome ลงรหัส 0 หรือ 1 เช่น neonatal death:

• กลุ่มไม่สัมผัส: risk = 10%
• กลุ่มสัมผัส: risk = 20%

จากข้อมูลเดียวกัน เราตอบได้หลายแบบ

ข้อมูลเดียวกัน สามคำตอบ

Logistic regression ให้ odds ratio

Logistic regression ใช้ logit คือลอการิทึมของ odds:

โดย $p$ คือ risk ของ outcome $X$ คือ exposure (1 ถ้าสัมผัส 0 ถ้าไม่สัมผัส) และ $\beta_0$ กับ $\beta_1$ คือ coefficient ที่ regression ประมาณ ดังนั้น

นี่คือเหตุผลเดียวเลยว่าทำไม logistic regression ให้ odds ratio มันไม่ได้ผิด แต่ตอบอีกคำถามหนึ่ง

สมมติ logistic model ให้ $OR = 3.9$ ห้ามเขียนว่า risk สูงขึ้น 3.9 เท่า เพราะมันหมายถึง odds สูงขึ้น 3.9 เท่า โดยเฉพาะเมื่อ outcome พบบ่อย odds ratio อาจห่างจาก risk ratio มาก

ทำไมมีทั้ง log-binomial และ modified Poisson

เพราะทั้งคู่ใช้ log link เหมือนกัน

Log-binomial model สมมติว่า outcome เป็น binomial และใช้ log link [1]:

โดย $X\beta$ เป็นชื่อย่อของฝั่งขวาทั้งหมด คือ $\beta_0 + \beta_1 X$ บวกพจน์อื่น ๆ ถ้ามี

Modified Poisson regression ใช้ working model เป็น Poisson คือการแจกแจงที่ยืมมาใช้ในการ fit ไม่ใช่สิ่งที่เชื่อว่าเป็นจริง [2]:

แต่ยังใช้ $\log(p) = X\beta$ เหมือนเดิม ดังนั้นในทั้งสอง model coefficient จึงตีความแบบเดียวกัน:

นี่คือจุดที่ทำให้หลายคนถามว่า ถ้าทั้งคู่ให้ risk ratio แล้วจะสร้างสอง model มาทำไม คำตอบคือ:

Log-binomial ถูกสร้างมาให้เข้ากับ binary outcome โดยตรง แต่คำนวณยากกว่า

Modified Poisson ยอมใช้ variance model ที่ไม่ตรงกับ binary outcome เพื่อให้ fitting ง่ายขึ้น แล้วใช้ robust standard error แก้เรื่อง variance

แยก link กับ family ออกจากกัน

นี่คือ root ของเรื่องนี้เลย ให้คิดว่า model มีสองชิ้น:

Link function เชื่อม risk กับฝั่งขวาของสมการ และเป็นตัวกำหนดว่า coefficient หมายถึงอะไร [3, 4]:

• logit link $\log\left(\frac{p}{1-p}\right) = X\beta$ ดังนั้น coefficient ให้ odds ratio
• log link $\log(p) = X\beta$ ดังนั้น coefficient ให้ risk ratio

Family คือการแจกแจงที่สมมติให้ outcome หน้าที่ของมันตรงนี้คือบอกว่า variance ถูกคิดอย่างไร

Robust standard error มีไว้ทำอะไร

แยกให้ออกจาก coefficient ก่อน ค่าประมาณ $\hat\beta$ กับ standard error $SE(\hat\beta)$ เป็นคนละเรื่องกัน

• Coefficient บอก effect เช่น $e^{\beta_1} = 1.89$
• Standard error บอก uncertainty รอบ coefficient และเป็นตัวที่ใช้สร้าง confidence interval กับ P value

ใน modified Poisson, Poisson variance ผิดสำหรับ binary outcome ดังนั้น standard error ธรรมดาก็อาจผิดไปด้วย model จึงใช้

เพื่อให้ inference ยังใช้ได้ แม้ variance function ที่สมมติไว้จะผิด Robust (sandwich) standard error ประมาณ variance จาก residual ที่สังเกตได้ แทนที่จะใช้ variance ที่สมมติไว้ [2] มันซ่อมอะไรได้และซ่อมอะไรไม่ได้ เป็นเรื่องของตอนที่ 4 ของชุดบทความนี้

ทำไม log-binomial ไม่ต้อง modified

Binary outcome จริง ๆ ก็คือ binomial ดังนั้น binomial variance $\operatorname{Var}(Y) = p(1-p)$ จึงตรงอยู่แล้ว ในเชิงแนวคิด model นี้เป็นธรรมชาติมาก:

ปัญหาอยู่ที่ข้อจำกัด $0 \le p \le 1$ เพราะ log-binomial กำหนด

ถ้า $X\beta > 0$ ก็จะได้ $e^{X\beta} > 1$ ซึ่งเป็น probability ที่เป็นไปไม่ได้

ขั้นตอนการ fit หรือ optimizer ที่ค้นหา coefficient จึงต้องหาคำตอบภายในพื้นที่แคบ ๆ ที่ทุก observation ต้องมี $p_i \le 1$ และในบาง dataset จึงเกิด convergence failure คือ algorithm ไม่เคยนิ่งอยู่ที่ค่าประมาณที่คงที่ [5]

ทำไม modified Poisson ไม่ติดปัญหานี้

Poisson model ไม่ได้บังคับ fitted mean ให้ไม่เกิน 1 ดังนั้นมันยอมให้มีค่าเช่น

ซึ่งถ้าตีความเป็น probability จริง ๆ ย่อมเป็นไปไม่ได้ แต่ optimization จะง่ายกว่ามาก นี่คือ trade-off [6]

Log-binomial เทียบกับ modified Poisson

ทำไม adjusted model อาจไม่เหมือนกันเป๊ะ

พอเพิ่ม covariates:

โดย ANC คือการฝากครรภ์ (antenatal care) และ SES คือสถานะทางเศรษฐกิจและสังคม (socioeconomic status) ตอนนี้แต่ละคน $i$ มี risk $p_i$ ของตัวเองที่ไม่เหมือนกันแล้ว Binomial กับ Poisson family ใช้ variance ต่างกัน จึงใช้ weighting ต่างกันในการ estimate $\beta$ สอง model จึงอาจได้

ซึ่งต่างกันเล็กน้อย

ผลต่างกันมากไม่ได้แปลว่าเป็น interaction โดยอัตโนมัติ

มีหลักที่พูดกันบ่อยว่า ถ้า adjusted สองวิธีต่างกันชัด ให้สงสัย interaction ประโยคนี้แรงเกินไป interaction เป็นหนึ่งในสาเหตุที่เป็นไปได้ แต่ไม่ใช่สาเหตุเดียว ถ้า log-binomial กับ modified Poisson ต่างกันชัด อาจเกิดจาก model misspecification ได้หลายแบบ เช่น

• มี interaction ที่ไม่ได้ใส่
• continuous covariate ที่จริง ๆ เป็น nonlinear แต่ใส่แบบ linear
• functional form ผิด
• omitted covariates
• model บังคับ common risk ratio ทั้งที่ risk ratio แตกต่างไปตาม covariates
• extreme fitted risks

อีกจุดหนึ่งคือ modified Poisson โดยทั่วไป converge ง่ายมาก แต่ไม่ควรพูดว่ามัน converge ได้ 100% เสมอ

รวมทุกอย่างเป็นต้นไม้เดียว

เวลามี binary outcome ให้เริ่มด้วยคำถามเดียวว่า ฉันอยากรายงานอะไร?

                   Binary outcome
                         │
             What effect do I want?
                         │
       ┌─────────────────┼─────────────────┐
       │                 │                 │
      OR                RR                RD
       │                 │                 │
   logit link         log link       identity link
       │                 │
   Logistic        ┌──────┴──────┐
 regression        │             │
                   │             │
             Log-binomial   Modified Poisson
                   │             │
             Binomial       Poisson working
              family           family
                   │             │
              RR = exp(b)   RR = exp(b)
                                 │
                            Robust SE

ดังนั้นไม่ต้องจำว่ามี model เยอะแยะ จริง ๆ แล้วมีเพียงสองคำถาม:

1. ต้องการ effect อะไร: OR, RR หรือ RD?
2. ถ้าต้องการ RR จะ estimate อย่างไร: log-binomial หรือ modified Poisson ร่วมกับ robust standard error?

Poisson จริงมี μ ไม่ใช่ p

การเขียน $\log(p) = X\beta$ สำหรับ modified Poisson ดูแปลก เพราะ Poisson regression ปกติไม่ได้มี $p$ Poisson regression ของจริงหน้าตาแบบนี้:

และใช้ log link:

โดย $\mu_i$ คือ expected count หรือ mean count ไม่ใช่ probability ตัวอย่างเช่น จำนวนครั้งที่ admit โรงพยาบาลในหนึ่งปี $Y_i = 0, 1, 2, 3, \ldots$ กับ model

ดังนั้น

คือ count ratio หรือ rate ratio ตามบริบท

สาม model วางเทียบกัน

ภาพที่สำคัญที่สุด

วาง mean model ไว้บนสุด แล้วทั้งสาม model จะเข้าที่ของมันเอง:

                         Mean model
                            │
                       log(mean)
                            │
              ┌─────────────┴─────────────┐
              │                           │
        Count outcome                 Binary outcome
              │                           │
       E(Y) = μ count                E(Y) = p
              │                           │
        log(μ) = Xβ                  log(p) = Xβ
              │                           │
       Poisson regression        ┌────────┴────────┐
                                 │                 │
                          Log-binomial      Modified Poisson
                                 │                 │
                         Binomial variance   Poisson variance
                           p(1-p)                 p
                                                   │
                                             wrong variance
                                                   │
                                              robust SE

ดังนั้นประโยคที่แม่นที่สุดคือ:

Poisson regression จริงเขียนว่า $\log(\mu) = X\beta$ ใน modified Poisson เมื่อเอา binary $Y$ มาใช้ เนื่องจาก $E(Y) = p$ $\mu$ จึงเท่ากับ $p$ ใน mean model ทำให้เขียนเป็น $\log(p) = X\beta$ ได้ แม้ Poisson variance assumption จะผิด

และนี่คือเหตุผลที่ modified Poisson ให้ risk ratio ทั้งที่ชื่อว่า Poisson: เราใช้ mean structure ของ Poisson แต่ไม่เชื่อ variance ของ Poisson จึงใช้ robust standard error แทน

Probability ที่เกิน 1 ไม่ได้มาจากข้อมูล

ในความจริง probability ไม่มีทางเกิน 1 ค่า $p > 1$ ไม่ได้มาจากข้อมูลจริง แต่มาจากค่าชั่วคราวที่ model กำลังลองระหว่างการหาค่า $\beta$ ดังนั้นให้แยกข้อมูลจริงกับสมการที่ใช้ประมาณค่าออกจากกันก่อน

ข้อมูลจริงไม่มีปัญหา ในกลุ่มไม่สัมผัส 20/100 คนเกิด outcome ดังนั้น $p_0 = 0.20$ ในกลุ่มสัมผัส 40/100 คนเกิด outcome ดังนั้น $p_1 = 0.40$ ทุกค่าอยู่ระหว่าง 0 ถึง 1 ตามความจริง

ทำไม log link ยอมให้สมการสร้างเลขแบบนั้น

เขียน $\eta = X\beta$ แทนฝั่งขวาทั้งหมดของสมการ เรียกว่า linear predictor (ช่วงท้ายของบทความนี้จะดูมันอย่างละเอียด) ภายใต้ log link

มี range เป็น

ดูง่าย ๆ:

แต่ถ้า $\eta = 0.1$ ก็ได้ $p = 1.105$ และ $\eta = 1$ ได้ $p = 2.718$

Exponential function เองไม่ได้รู้ว่าเรากำลังใช้มันแทน probability มันรู้แค่ว่า $e^x > 0$ เท่านั้น เพื่อให้มันเป็น probability เราจึงต้องเพิ่ม constraint ว่า

เพราะถ้า $X_i\beta \le 0$ แล้ว $e^{X_i\beta} \le 1$

นี่แหละทำไม logistic regression fit ง่ายกว่า

ดู inverse ของ logit link:

ไม่ว่า $X\beta$ จะเป็นอะไร ผลที่ได้เป็น probability ที่ใช้ได้เสมอ ถ้า $X\beta = -10$ ก็ได้ $p \approx 0$ ถ้า $X\beta = 0$ ได้ $p = 0.5$ ถ้า $X\beta = 10$ ได้ $p \approx 1$ แต่ไม่เคยเกิน 1:

นี่เป็นข้อดีมหาศาลของ logistic link

Log link กับ logit link ทีละค่า

เปรียบเทียบกัน ภายใต้ log-binomial $p = e^{\eta}$:

η = -3   → p = 0.05   valid
η = -1   → p = 0.37   valid
η =  0   → p = 1.00   valid (the edge)
η =  0.2 → p = 1.22   invalid
η =  1   → p = 2.72   invalid

จึงต้องบังคับ $\eta \le 0$ ส่วนภายใต้ logistic $p = e^{\eta}/(1 + e^{\eta})$:

η = -3   → p = 0.047
η = -1   → p = 0.269
η =  0   → p = 0.500
η =  1   → p = 0.731
η =  3   → p = 0.953
η = 100  → p ≈ 1

valid ทั้งหมด นี่คือความแตกต่างที่ลึกมากระหว่าง log link กับ logit link

Log-binomial ต้องค้นหาอย่างไร

จริง ๆ แล้ว parameter space ของ log-binomial model คือ

และ computer ต้องหาค่า $\beta$ ภายในพื้นที่นี้เท่านั้น

ปัญหายิ่งหนักเมื่อมี predictors เยอะ เช่น

model ต้องมี $\beta_0 + \beta_1 X_{i1} + \beta_2 X_{i2} + \cdots \le 0$ สำหรับทุก observation คนหนึ่งอาจอายุมาก ได้รับ exposure และป่วยหนัก จน linear predictor ใกล้ศูนย์มาก:

optimizer อยากขยับ coefficient อีกนิดเพื่อ fit คนอื่นให้ดีขึ้น แต่ถ้าขยับเป็น $X_i\beta = +0.001$ ก็จะได้ $p_i = 1.001$ ซึ่งห้าม optimizer จึงเหมือนกำลังเดินอยู่ชิดกำแพง:

                INVALID
                 p > 1
                   │
                   │  ← the wall, p = 1
───────────────────┤
                 ● │ ← the MLE may sit very close to here
              ↗    │
          optimizer│
        ↗          │
   valid region    │
     p < 1         │

MLE หรือ maximum likelihood estimate คือชุด coefficient ที่การ fit กำลังค้นหา

Modified Poisson แก้ตรงไหน

Modified Poisson บอกว่า ฉันจะไม่บังคับเพดาน $p \le 1$ ระหว่าง optimization มันใช้

และ Poisson ยอมให้ $\mu = 0.2,\ 1,\ 2,\ 10,\ \ldots$ เพราะสำหรับ count ค่า mean ที่เกิน 1 ไม่แปลกเลย optimizer จึงวิ่งได้อิสระกว่า และ converge ง่ายกว่า

เมื่อนำมาใช้กับ binary $Y$ จะมี $E(Y) = p$ coefficient จึง estimate risk ratio แต่เพราะเราจงใจใช้ Poisson กับ binary outcome, variance จึงผิด และต้องใช้

ร่วมด้วย

Poisson ยืดพื้นที่ค้นหา ไม่ได้ยืด probability

จุดที่ต้องเห็นภาพคือ Poisson ไม่ได้ยืด probability มันยืดพื้นที่ที่ optimizer มีสิทธิ์เดินหา coefficient

ให้ $\eta = X\beta$ ทั้ง log-binomial และ Poisson ใช้ $\mu = e^{\eta}$ คือเส้น exponential $y = e^x$ และเส้น $y = 1$ คือเพดานของ probability log-binomial ตีความ $y$ เป็น $p$ จึงใช้ได้เฉพาะด้านซ้าย คือ $\eta \le 0$:

แต่ $\eta = 0.2 \Rightarrow p = 1.22$ ไม่ได้แล้ว log-binomial จึงมีพื้นที่เดินแค่นี้:

η

<-----------------------------|----------------------->
                              0

      VALID                   |        INVALID
      p < 1                   |         p > 1

  -3    -2    -1    -0.5      0       +0.5      +1
   ↓     ↓     ↓      ↓       ↓         ↓         ↓
 0.05  0.14  0.37   0.61    1.00      1.65      2.72

                              ↑
                           the wall

-0.5 → -0.3 → -0.1 → +0.1

แล้ว Poisson ทำอะไรต่างออกไป

Poisson ไม่ได้บอกว่า $\mu$ เป็น probability มันบอกว่า $\mu$ เป็น mean count ดังนั้น $\mu = e^{\eta}$ จะเป็น 0.5, 1, 2, 10 หรือ 100 ก็ได้หมด จึงไม่มีเพดานที่ 1 พื้นที่ของ optimizer จึงเป็น:

η

<------------------------------------------------------>

 -3      -2      -1       0       +1       +2
  ↓       ↓       ↓       ↓        ↓        ↓
 0.05    0.14    0.37     1       2.72     7.39

        all usable for the Poisson

ถ้า optimizer เดิน $-0.5 \to -0.3 \to -0.1 \to +0.1 \to +0.2$ แล้วกลับมา $-0.05$ Poisson บอกว่า เดินไปเลย ฉันยังคำนวณ likelihood และ estimating equation ให้ได้ทุกจุด มันสามารถเดินผ่านบริเวณที่ถ้าตีความเป็น probability จะเกิน 1 เพื่อค้นหาว่า coefficient ชุดไหนดีที่สุด

นี่คือความหมายของ “fit ง่ายกว่า” ไม่ใช่ว่า $p > 1$ กลายเป็นของจริง แต่คือ:

ของจริงมีหลายคน ปัญหาจึงยิ่งชัด

สมมติมี 4 คน โดย

log-binomial ต้องให้ $\eta_i \le 0$ สำหรับทุกคน optimizer อยากเพิ่ม $\beta_1$ อีก 0.1 เพื่อ fit คนที่ 1 ถึง 3 ให้ดีขึ้น

คนเดียวก็ขวางทั้ง step ได้

Modified Poisson เหมือนเอากำแพงออก

สำหรับ log-binomial, coefficient ที่ยอมให้ใช้ได้เป็นพื้นที่ปิด และจุดที่ดีที่สุดอาจอยู่ชิดขอบพอดี:

        feasible coefficients
              ______
             /      \
            /        \
           /     ●    | ← the optimum sits at the edge
          /          /
         /__________/

moving outside = probability > 1 = forbidden

สำหรับ modified Poisson ไม่มีขอบแบบนั้น:

no boundary p ≤ 1

──────────────────────────────────
              ↗
         ↗  ●
    ↗
the optimizer moves freely in every direction
──────────────────────────────────

ดังนั้น numerical algorithm เช่น Newton-Raphson หรือ iteratively reweighted least squares (IRLS) ไม่ต้องคอยกังวลว่า step นี้จะทำให้ predicted risk ของใครเกิน 1 หรือเปล่า จึง converge ง่ายกว่ามาก

แล้วทำไมยังใช้กับ binary outcome ได้ เพราะสำหรับ $Y = 0, 1$ มี $E(Y) = p$ Modified Poisson ใช้ mean equation $\log E(Y \mid X) = X\beta$ ซึ่งเท่ากับ $\log p = X\beta$ ดังนั้น $e^{\beta_1} = RR$ สิ่งที่ยืมมาจาก Poisson คือวิธี estimate mean ที่ไม่มี boundary ส่วน Poisson variance $\operatorname{Var}(Y) = \mu$ ผิดสำหรับ binary outcome ซึ่ง variance จริงคือ $\operatorname{Var}(Y) = p(1-p)$ จึงแก้ด้วย robust standard error

η คืออะไร: ชื่อย่อของฝั่งขวา

$\eta$ (อักษรกรีก eta) ไม่ได้เป็นตัวแปรใหม่จากข้อมูล มันเป็นแค่ชื่อย่อของสิ่งที่อยู่ด้านขวาของสมการ regression เช่นเรามี

เพื่อไม่ต้องเขียนยาว ๆ เราตั้งชื่อว่า

สมการเดิมจึงเขียนสั้นลงเป็น $\log(p) = \eta$ และแก้กลับได้ว่า $p = e^{\eta}$ ตัว $\eta$ เรียกว่า linear predictor

η เป็นเลขอะไรก็ได้ แล้ว link เป็นตัวแปลง

ถ้ามีหลายตัวแปรก็เหมือนเดิม เช่น

$\eta$ ก็คือคะแนนรวมที่ regression คำนวณให้แต่ละคน ก่อนแปลงกลับเป็น probability หรือ risk

จุดสำคัญคือ $\eta$ ไม่ใช่ probability มันจะติดลบ บวก หรือเป็นเลขอะไรก็ได้ และlink function ต่างหากที่เอา $\eta$ ไปแปลงเป็นค่าที่เราต้องการ:

• logistic: $\eta = \log\dfrac{p}{1-p}$
• log-binomial: $\eta = \log(p)$
• Poisson: $\eta = \log(\mu)$

ดังนั้น $\eta$ จริง ๆ ก็คือแค่

เป็น shorthand ของ intercept บวก coefficient คูณ predictor แต่ละตัว เท่านั้น

อ่านต่อในวิกิ: [[risk-regression-models-epidemiology-th]] [[glm-families-effect-measures]]