Skip to content

test: allowLowConfidence モードの accuracy レポートを追加#10

Merged
tk1024 merged 1 commit intomainfrom
test/allow-low-confidence
Mar 22, 2026
Merged

test: allowLowConfidence モードの accuracy レポートを追加#10
tk1024 merged 1 commit intomainfrom
test/allow-low-confidence

Conversation

@tk1024
Copy link
Owner

@tk1024 tk1024 commented Mar 22, 2026

Summary

  • 各カテゴリで通常モードと allowLowConfidence モードの両方の正答率を計測
  • CI の PR コメントにも両モードの結果が表示される

結果比較

カテゴリ normal lowConf wrong (lowConf)
MVP 94.7% 98.1% 4
漢字姓+ひらがな名 100% 100% 0
漢字姓+カタカナ名 75.0% 91.7% 1
かな姓+漢字名 18.8% 56.3% 7
名前内部にかな混在 70.0% 100% 0
1文字姓 92.3% 100% 0
3文字以上の姓 75.0% 100% 0
異体字・旧字体 86.7% 100% 0
ノ・ヶ・々 81.8% 100% 0
全かな 86.7% 100% 0
曖昧 80.0% 100% 0
VTuber名 3.3% 3.3% 29

Test plan

  • 13ファイル全パス(テスト数 50→62 に増加)

🤖 Generated with Claude Code

各カテゴリで通常モードと allowLowConfidence モードの両方の
正答率を計測するようにした。

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
@github-actions
Copy link

Test Results

Category Correct Wrong Unsplit Accuracy
名前内部にかな混在 7/10 0 3 70.0%
名前内部にかな混在 [lowConf] 10/10 0 0 100.0%
全ひらがな/全カタカナ 13/15 0 2 86.7%
全ひらがな/全カタカナ [lowConf] 15/15 0 0 100.0%
ノ・ヶ・々を含む姓 9/11 0 2 81.8%
ノ・ヶ・々を含む姓 [lowConf] 11/11 0 0 100.0%
漢字姓+カタカナ名 9/12 0 3 75.0%
漢字姓+カタカナ名 [lowConf] 11/12 1 0 91.7%
漢字姓+ひらがな名 15/15 0 0 100.0%
漢字姓+ひらがな名 [lowConf] 15/15 0 0 100.0%
分割が曖昧な名前 8/10 0 2 80.0%
分割が曖昧な名前 [lowConf] 10/10 0 0 100.0%
異体字・旧字体 13/15 0 2 86.7%
異体字・旧字体 [lowConf] 15/15 0 0 100.0%
かな姓+漢字名 3/16 0 13 18.8%
かな姓+漢字名 [lowConf] 9/16 7 0 56.3%
3文字以上の姓 9/12 0 3 75.0%
3文字以上の姓 [lowConf] 12/12 0 0 100.0%
MVP (208件) 196/207 0 11 94.7%
MVP (208件) [lowConf] 203/207 4 0 98.1%
1文字姓 12/13 0 1 92.3%
1文字姓 [lowConf] 13/13 0 0 100.0%
VTuber名 1/30 0 29 3.3%
VTuber名 [lowConf] 1/30 29 0 3.3%

Unit Tests: 13 passed files, 62 passed tests

@tk1024 tk1024 merged commit 451c446 into main Mar 22, 2026
1 check passed
@tk1024 tk1024 deleted the test/allow-low-confidence branch March 22, 2026 12:43
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant