Skip to content

feat: improve HF extraction prompt and Kakao fallback#15

Merged
1000hyehyang merged 4 commits into
devfrom
feat/14-hf-kakao-v2
May 15, 2026
Merged

feat: improve HF extraction prompt and Kakao fallback#15
1000hyehyang merged 4 commits into
devfrom
feat/14-hf-kakao-v2

Conversation

@KyungminPark-steck
Copy link
Copy Markdown
Contributor

✨ 무엇을 바꿨나요?

HF 장소 추출 prompt v2와 Kakao fallback scoring v2를 추가했습니다. 기존 v1 prompt/scoring은 코드에 보존해두고, 기본 동작은 v2를 사용하도록 변경했습니다.

🔗 관련 이슈

Closes #14

💡 왜 바꿨나요?

7B 평가에서 장소명이 아닌 메뉴명/카테고리/제목성 표현을 추출하거나, Kakao 검색에서 주소만 맞는 엉뚱한 상호명이 selected 되는 문제가 있었습니다.

예:

  • 우동키노야 신용산본점 대신 면발 추출
  • 썸머러너 대신 카피바라 추출

📝 주요 변경 사항

  • HF extraction prompt v1 보존 및 prompt v2 추가
  • 📍, 📌위치 :, 상호명 : 등 명시적 장소 마커 우선 규칙 추가
  • 메뉴명/카테고리/제목성 표현을 store_name으로 추출하지 않도록 prompt 강화
  • Kakao scoring v1 보존 및 name similarity 기반 scoring v2 적용
  • 이름 유사도가 낮으면 주소/rank만으로 selected threshold를 넘지 못하도록 guardrail 추가

👀 리뷰어가 보면 좋은 부분

  • 주소는 맞지만 이름이 다른 상호명을 selected에서 제외하는 정책이 운영 목적에 맞는지

🧪 테스트

방식

  • 로컬 환경에서 확인
  • 운영 환경에서 확인
  • 단위 / 통합 테스트
  • 해당 없음

메모

  • 7B 100개 평가 기준:
    • v1: place_accuracy 0.6202, precision 0.7477, f1 0.6780
    • v2: place_accuracy 0.6589, precision 0.9239, f1 0.7692
  • 대표 실패 subset 15개에서도 v1 대비 v2 성능 개선 확인

Copy link
Copy Markdown
Member

@1000hyehyang 1000hyehyang left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@KyungminPark-steck 프롬프트가 많이 길어지고, 일부 예시가 한정적인 케이스로 들어가 있는데 괜찮을까요?? (>> 직화마라탕, 감자탕, 치즈케이크, 카피바라푸딩)

@1000hyehyang 1000hyehyang merged commit 779460d into dev May 15, 2026
1 check passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

[refactor] HF 장소 추출 프롬프트 및 Kakao fallback 정밀도 개선

2 participants