[NEXT+] 머신러닝을 통한 임상시험의 잠재적 위험 감지 : 랩 데이터에서 ePRO 데이터까지

Jessica Dolfi(Director, Product Management, Medidata)

Lindsey Sarno(Senior Solution, Consultant, Medidata)

Medidata Detect는 임상시험 데이터 내에 알려지지 않은 리스크를 식별하는 데 도움을 주는 중앙화된 통계 분석 툴입니다. 랩 데이터에서 ePRO 데이터까지 모두 포함합니다. 임상시험 데이터 검토에 필요한 알고리즘을 제공하며 특히 데이터 품질과 환자 안전에 중점을 두고 있습니다. 

중앙집중식 통계 모니터링 기술과 방법의 한계

전통적인 중앙집중식 통계 모니터링 기술과 연구 방식에는 몇 가지 단점이 있습니다. 우선 사용자 경험이 천차만별이고, 복잡하며, 시스템과 데이터 소스가 이질적입니다. 즉, 모든 데이터 소스를 표준화해야만 제대로 분석할 수 있습니다. 데이터의 추출과 업로드를 대량으로 일괄처리해야 하는데 매우 귀찮은 과정이고 데이터 검토 시간도 지연됩니다. CRA를 비롯한 관계자 입장에서는 데이터를 뒤지느라 기회 비용이 발생합니다. 

또한 많은 시스템들이 통계학 전문가가 사용해야만 가장 효과적이고, 데이터를 검토하는 사람에 따라 해석 편향이 발생할 수도 있습니다. 마지막으로 기존의 방식은 알려진 리스크를 데이터에 직접 입력해야 하고 이렇게 프로그래밍된, 알려진 리스크만 검토할 수 있다는 단점이 있습니다. 

메디데이터 플랫폼을 통한 고급 분석

메디데이터는 보다 수준 높은 방법을 통해 수작업을 줄이고 해석 편향을 없애고자 했습니다. 알려진 리스크뿐 아니라 알려지지 않은 리스크까지 하나의 시스템을 통해 확인할 수 있게 하고자 했습니다. 이처럼 보다 단순한 고급 분석을 실현하기 위해 메디데이터는 플랫폼으로 접근했습니다. 즉, 메디데이터 클라우드 전반에 걸친 표준화를 따르는 것입니다. 데이터가 자동으로 Rave EDC에서 일일 단위로 유입되므로, 분석 검토를 위해 데이터를 직접 한군데로 옮겨올 필요가 없습니다. 자동일 뿐 아니라 실시간으로 매일 유입되기 때문에 연구 중 본인이 편한 시간에 새로고침을 하면 됩니다. 언제든지 원하는 시간에 데이터의 새로고침이 가능합니다. 

또한 플랫폼 상호운용성을 이용한 이슈 관리가 가능합니다. 시스템 상에서 발견한 결과를 토대로 필요한 조치를 취할 수 있는 것입니다. 변칙을 발견하면 이슈를 생성하고 관련 액션 아이템을 식별합니다. 이를 통해 이 이슈가 언제 발견되었고, 어떤 조치를 취했는지, 어떤 완화책을 썼는지, 누가 조치했는지 확인할 수 있습니다. 만약 추가 조치가 필요 없는 것으로 밝혀지면 시스템에서 직접 검토했다고 표시만 할 수도 있습니다. 환자 프로필 상호운용성을 통해 데이터 리뷰 시 환자에 대한 추가 정보가 필요하면 모든 정보를 쉽게 확인할 수 있습니다. 

통계적 전문지식도 필요 없습니다. 가이드의 안내를 따라 데모 버전을 실행할 수 있습니다. 이를 통해 사용자는 해당 연구에서 가장 리스크가 큰 영역이 어디인지 쉽게 알 수 있습니다. 또한 알려진 리스크 뿐 아니라 알려지지 않은 리스크도 식별할 수 있습니다. 연구에서 가장 중요한 데이터를 식별하면 이를 메디데이터 알고리즘 내에 입력할 수 있으며, 그 외에도 모든 시험 데이터를 검토하여 사전에 고려하지 못한 리스크까지도 찾아서 알려줍니다. 

• 머신러닝으로 알려지지 않은 리스크 식별

메디데이터는 머신러닝 시스템으로 알려지지 않은 리스크를 식별합니다. 알고리즘이나 통계를 직접 프로그래밍할 필요없이 자동으로 학습합니다. 데이터 매니저부터 중앙모니터 요원, CRA 등 누구든지 동일한 데이터에 접근하여 다양한 데이터 셋을 구성하고, 하나의 플랫폼에서 분석할 수 있습니다. 모든 이해 당사자가 포괄적 데이터 리뷰를 할 수 있게 하는 것이 바로 이 머신러닝 알고리즘입니다. 

• 환자 프로필 정보에 대한 통합 뷰

환자 프로필 정보와 관련해서는, 포괄적인 데이터 리뷰 측면뿐만 아니라 의학적 모니터링을 통해 추가적인 정보를 얻는다는 점에서도 정말 중요합니다. 환자 데이터에 대한 엔드 투 엔드 시각을 제공하며 분석에도 반영합니다. 예를 들어 특정 데이터포인트에 대한 추가 연구가 필요하다면 분석 페이지에서 바로 해당하는 환자 정보를 불러올 수 있습니다. 

이 외에도 다양한 면에서 여러 가치를 구현할 수 있습니다. ▶감독 측면에서 리뷰 소요시간이 줄어 효율성이 증대됩니다. 프로그래밍 과정에서 논리적 오류 확인에 소요되는 시간과 노력도 줄일 수 있습니다. 시스템이 자동으로 데이터를 검토해서 알려진 리스크와 알려지지 않은 리스크를 모두 잡아내기 때문입니다. 

▶데이터 품질 측면에서는 실제로 제출 반려가 줄어든 것이 확인됩니다. 시간과 비용을 절약하고, 오류없이 깨끗한 데이터를 규제 당국에 제출할 수 있는 것입니다. ▶단순화 측면에서는 모든 데이터를 하나의 시스템에 담으면 통일된 시각으로 데이터 리뷰가 가능합니다. 또한 데이터베이스 잠금 시간도 기존의 30일에서 5일까지 줄인 사례도 있습니다. 분석 툴이 데이터를 자동으로 리뷰하고 정리하는 기능을 추가했을 뿐인데 엄청난 변화가 일어난 것입니다. 임상시험 6개 중 1개가 제출 기한을 맞추지 못한다고 합니다. 이 부분에서도 가치 실현이 가능해졌습니다. 

Medidata Detect의 장점 

Medidata Detect는 고급 통계적 알고리즘을 적용하여 임상시험 데이터를 검토하고, 데이터 이상치나 변칙, 트렌드를 찾아내는 솔루션입니다. 이 알고리즘은 시스템에서 자동으로 생성되기 때문에 직접 프로그래밍을 할 필요가 전혀 없습니다. Medidata Detect는 주목해야 할 데이터 문제나 리스크를 직접적으로 찾아서 보여줍니다. 이를 통해 적절한 리스크 완화 조치를 취할 수 있습니다. 

또한 FDA에 오류없이 깨끗한 데이터셋을 제출할 수 있습니다. Medidata Detect가 분석하는 데이터는 Rave EDC 등 메디데이터 플랫폼 어디에서나 가져올 수 있습니다. 서드파티 데이터도 가져올 수 있습니다. 서드파티 EDC 데이터, 대규모 랩 데이터, 서드파티 eCOA 데이터 등 어떤 데이터든 대상자 식별자만 있으면 Medidata Detect로 가져와서 분석할 수 있습니다. 

Medidata Detect는 알고리즘을 이용해 연구 데이터 간 상관관계를 자동으로 식별하고 여기에 부합하지 않는 데이터는 변칙이나 오류로 표시합니다. 변칙이나 오류도 따로 요약, 정리해서 기관별로 몇 퍼센트인지 연구진이 한눈에 확인하고 이를 즉시 조사할 수 있게 합니다.