```python
# fact-checker kappa
Mean kappa: 0.41
shape: (3, 3)
┌──────┬──────┬──────────┐
│ col1 ┆ col2 ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞══════╪══════╪══════════╡
│ cn ┆ pg ┆ 0.57977 │
│ pg ┆ su ┆ 0.372727 │
│ cn ┆ su ┆ 0.27735 │
└──────┴──────┴──────────┘
# avg fc-LLM kappas
shape: (10, 2)
┌───────────────────────┬────────────┐
│ model ┆ mean_kappa │
│ --- ┆ --- │
│ str ┆ f64 │
╞═══════════════════════╪════════════╡
│ gemini-3-pro-preview ┆ 0.463553 │
│ gpt-4o-search-preview ┆ 0.408385 │
│ grok-4 ┆ 0.38199 │
│ gpt-5-pro ┆ 0.315922 │
│ gpt-5 ┆ 0.295082 │
│ sonar-pro-search ┆ 0.230024 │
│ claude-opus-4.1 ┆ 0.168718 │
└───────────────────────┴────────────┘
# for each model
gemini-3-pro-preview
shape: (3, 3)
┌───────┬──────────────────────┬──────────┐
│ fc ┆ model ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞═══════╪══════════════════════╪══════════╡
│ fc_pg ┆ gemini-3-pro-preview ┆ 0.534454 │
│ fc_su ┆ gemini-3-pro-preview ┆ 0.429963 │
│ fc_cn ┆ gemini-3-pro-preview ┆ 0.426242 │
└───────┴──────────────────────┴──────────┘
gpt-4o-search-preview
shape: (3, 3)
┌───────┬───────────────────────┬──────────┐
│ fc ┆ model ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞═══════╪═══════════════════════╪══════════╡
│ fc_pg ┆ gpt-4o-search-preview ┆ 0.508444 │
│ fc_cn ┆ gpt-4o-search-preview ┆ 0.37091 │
│ fc_su ┆ gpt-4o-search-preview ┆ 0.3458 │
└───────┴───────────────────────┴──────────┘
grok-4
shape: (3, 3)
┌───────┬────────┬──────────┐
│ fc ┆ model ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞═══════╪════════╪══════════╡
│ fc_cn ┆ grok-4 ┆ 0.453925 │
│ fc_pg ┆ grok-4 ┆ 0.4377 │
│ fc_su ┆ grok-4 ┆ 0.254344 │
└───────┴────────┴──────────┘
gpt-5-pro
shape: (3, 3)
┌───────┬───────────┬──────────┐
│ fc ┆ model ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞═══════╪═══════════╪══════════╡
│ fc_pg ┆ gpt-5-pro ┆ 0.403374 │
│ fc_cn ┆ gpt-5-pro ┆ 0.334344 │
│ fc_su ┆ gpt-5-pro ┆ 0.210048 │
└───────┴───────────┴──────────┘
gpt-5
shape: (3, 3)
┌───────┬───────┬──────────┐
│ fc ┆ model ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞═══════╪═══════╪══════════╡
│ fc_pg ┆ gpt-5 ┆ 0.389743 │
│ fc_cn ┆ gpt-5 ┆ 0.300768 │
│ fc_su ┆ gpt-5 ┆ 0.194733 │
└───────┴───────┴──────────┘
sonar-pro-search
shape: (3, 3)
┌───────┬──────────────────┬──────────┐
│ fc ┆ model ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞═══════╪══════════════════╪══════════╡
│ fc_cn ┆ sonar-pro-search ┆ 0.336761 │
│ fc_pg ┆ sonar-pro-search ┆ 0.263882 │
│ fc_su ┆ sonar-pro-search ┆ 0.089431 │
└───────┴──────────────────┴──────────┘
claude-opus-4.1
shape: (3, 3)
┌───────┬─────────────────┬──────────┐
│ fc ┆ model ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞═══════╪═════════════════╪══════════╡
│ fc_pg ┆ claude-opus-4.1 ┆ 0.240838 │
│ fc_cn ┆ claude-opus-4.1 ┆ 0.156287 │
│ fc_su ┆ claude-opus-4.1 ┆ 0.109029 │
└───────┴─────────────────┴──────────┘
```