LLMs and Human-in-the-Loop

상위: Papers

• 핵심 아이디어: 인간 전문가가 수행해야 할 검증 작업 중 일부를 또 다른 LLM에게 맡기는 방식입니다. 즉, 하나의 LLM(생성자)이 만든 결과를 다른 LLM(판단자)이 평가하게 하여 인간의 부담을 줄입니다.

• 워크플로우 및 특징:

  1. 지식 추출: 첫 번째 LLM이 문서에서 지식 삼중항(Triples, 예: [Lipitor, is_a, Drug])을 대량으로 추출합니다.
  2. LLM 기반 검증: 두 번째 LLM("판단자 LLM")에게 "주어진 문장을 근거로 볼 때, 'Lipitor는 Drug이다'라는 사실이 올바른가?"라고 질문하여 각 삼중항의 정확도를 평가하게 합니다.
  3. 인간 최종 검토: LLM이 '불확실'하다고 판단하거나, 점수가 낮은 항목들만 인간 전문가에게 제시하여 최종 검토를 받습니다.