부작용 감지

부작용 감지를 위한 자연어 처리 사용.

문제

선도적인 제약 회사인 우리의 고객은 소셜 미디어 항목에서 부작용(AE) 감지를 위한 NLP 알고리즘을 개발하고 있습니다. 특정 환자의 우려와 경험을 정리하고 해결하기 위해 미리 정의된 명명된 엔터티를 분류하는 것을 목표로 합니다. 1만 개 이상의 소셜 미디어 항목을 분석하여 환자 경험과 건강을 개선하고 AE 감지에서 위음성의 수를 줄여야 했습니다. 프로젝트의 민감한 의학적 특성으로 인해 우리의 전반적인 기대치는 모든 분류 및 탐지에 대해 100% 정확도에 도달하는 것이었습니다. 이 인간 참여 방식은 현재 관행과 달리 기계 학습 모델이 신뢰할 수 있는 분류 결과를 제공하지 못하는 경우에만 사람의 검토가 필요하기 때문에 확장성을 10배 증가시킵니다.

해결책

이 프로젝트는 백만 명의 DataForce 커뮤니티에서 주제 전문가를 효율적으로 선택하는 것으로 시작되었습니다. 약물 감시에 대한 배경 지식이 있는 리뷰어를 직접 선택하여 스크리닝된 후보자로부터 점진적으로 팀을 구성했습니다. 전문가 감독, 블라인드 주석 프로세스, Kohen의 Kappa 계수와 같은 특정 품질 메트릭의 구현을 결합하여 품질을 빠르게 개선했습니다. 주석 프로세스가 계속됨에 따라 주석 팀을 확장하여 전달 주기를 단축했습니다. 우리 팀은 며칠 만에 수천 개의 소셜 미디어 게시물을 검토했습니다.

주석 및 분류의 정확성을 보장하기 위해 각 작업에 대해 이중 맹검 주석을 수행한 후 철저한 품질 관리를 수행했습니다. 모든 불일치는 각 항목에 대한 최종 분류를 제시한 검토자가 조정했습니다.

더 많은 데이터 세트가 들어오면서 팀과 함께 피드백을 신속하게 구현하고 소셜 미디어 게시물 내에서 극단적인 경우와 예상치 못한 경험을 반영하기 위해 지침을 업데이트했습니다. 내부 주석 플랫폼인 DataForce는 모든 프로젝트 변경 사항에 맞게 원활하게 업데이트되었으며 지속적으로 개선되는 확장 가능한 모델로 데이터 세트를 완성할 수 있었습니다.

클라이언트는 이 인간 참여형 모델이 기존의 수동 분류보다 훨씬 더 확장 가능하고 효율적인 옵션임을 입증했다고 보고했습니다.