cohen's kappa for different datasets
allen2021
- 3 fcs
- 207 headlines
```python
# mis variable: 4 levels (1, 2, 3, 4; true, misleading, false, can't tell)
Mean kappa: 0.4
shape: (3, 3)
┌──────┬──────┬──────────┐
│ col1 ┆ col2 ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞══════╪══════╪══════════╡
│ cn ┆ pg ┆ 0.590806 │
│ pg ┆ su ┆ 0.334489 │
│ cn ┆ su ┆ 0.275141 │
└──────┴──────┴──────────┘
# re-coded variable: 3 levels (true, false/misleading, can't tell)
Mean kappa: 0.41
shape: (3, 3)
┌──────┬──────┬──────────┐
│ col1 ┆ col2 ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞══════╪══════╪══════════╡
│ cn ┆ pg ┆ 0.57977 │
│ pg ┆ su ┆ 0.372727 │
│ cn ┆ su ┆ 0.27735 │
└──────┴──────┴──────────┘
```
birdwatch
- 2 fcs
- 460 tweets
```python
# mis variable: 4 levels (1, 2, 3, 4; true, misleading, false, can't tell)
Mean kappa: 0.222
shape: (1, 3)
┌───────────┬──────────────────┬──────────┐
│ col1 ┆ col2 ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞═══════════╪══════════════════╪══════════╡
│ Christina ┆ Patryk Grazewicz ┆ 0.222346 │
└───────────┴──────────────────┴──────────┘
# re-coded variable: 3 levels (true, false/misleading, can't tell)
Mean kappa: 0.285
shape: (1, 3)
┌───────────┬──────────────────┬──────────┐
│ col1 ┆ col2 ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞═══════════╪══════════════════╪══════════╡
│ Christina ┆ Patryk Grazewicz ┆ 0.284742 │
└───────────┴──────────────────┴──────────┘
```
crowdtangle
- 2 fcs
- 90 headlines
```python
# 4 levels: false, true, misleading, satire
shape: (1, 3)
┌─────────┬─────────┬──────────┐
│ col1 ┆ col2 ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞═════════╪═════════╪══════════╡
│ claim_C ┆ claim_P ┆ 0.458298 │
└─────────┴─────────┴──────────┘
# 3 levels: false, true, misleading
shape: (1, 3)
┌─────────┬─────────┬──────────┐
│ col1 ┆ col2 ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞═════════╪═════════╪══════════╡
│ claim_C ┆ claim_P ┆ 0.463975 │
└─────────┴─────────┴──────────┘
# 2 levels: true, false/misleading
shape: (1, 3)
┌─────────────────┬─────────────────┬─────────┐
│ col1 ┆ col2 ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞═════════════════╪═════════════════╪═════════╡
│ claim_C_recoded ┆ claim_P_recoded ┆ 0.53052 │
└─────────────────┴─────────────────┴─────────┘
```
thomas/mohsen data
- 3 fcs
- 100 posts
```python
# 4 levels: true, misleading, false, not sure
Mean kappa: 0.351
shape: (3, 3)
┌────────┬────────┬──────────┐
│ col1 ┆ col2 ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞════════╪════════╪══════════╡
│ mis_pg ┆ mis_lc ┆ 0.470457 │
│ mis_cn ┆ mis_lc ┆ 0.293094 │
│ mis_cn ┆ mis_pg ┆ 0.288725 │
└────────┴────────┴──────────┘
# 3 levels: true, false/misleading, not sure
Mean kappa: 0.358
shape: (3, 3)
┌────────────────┬────────────────┬──────────┐
│ col1 ┆ col2 ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞════════════════╪════════════════╪══════════╡
│ mis_pg_recoded ┆ mis_lc_recoded ┆ 0.470735 │
│ mis_cn_recoded ┆ mis_lc_recoded ┆ 0.308717 │
│ mis_cn_recoded ┆ mis_pg_recoded ┆ 0.295098 │
└────────────────┴────────────────┴──────────┘
```
choi/ferrara 2024 data
- 5 mturkers
- 1224 tweets
```python
# 3 levels: neutral, entailment, contradiction
Mean kappa: 0.356
shape: (10, 3)
┌─────────┬─────────┬──────────┐
│ col1 ┆ col2 ┆ kappa │
│ --- ┆ --- ┆ --- │
│ str ┆ str ┆ f64 │
╞═════════╪═════════╪══════════╡
│ Mturk_2 ┆ Mturk_5 ┆ 0.378359 │
│ Mturk_3 ┆ Mturk_4 ┆ 0.374699 │
│ Mturk_1 ┆ Mturk_5 ┆ 0.368753 │
│ Mturk_2 ┆ Mturk_4 ┆ 0.363802 │
│ Mturk_4 ┆ Mturk_5 ┆ 0.362051 │
│ Mturk_1 ┆ Mturk_4 ┆ 0.359073 │
│ Mturk_2 ┆ Mturk_3 ┆ 0.355738 │
│ Mturk_1 ┆ Mturk_2 ┆ 0.349975 │
│ Mturk_3 ┆ Mturk_5 ┆ 0.329809 │
│ Mturk_1 ┆ Mturk_3 ┆ 0.318143 │
└─────────┴─────────┴──────────┘
```