변경 이력 검토(Audit Trail Review, 줄여서 ATR) 프로세스의 현대화가 그 어느 때보다도 중요한 시대가 되었습니다. 아래에서는 이력 검토가 중요한 이유와 활용 사례 몇 가지, 임상시험 시 생성형 AI를 통한 ATR 부담 완화 방안에 대해 설명하고자 합니다.
변경 이력 데이터 검토의 목적
변경 이력이란 임상시험 데이터와 관련된 변경 사항이나 조치를 시간 순으로 보여주는 기록을 말합니다. 주요 내용은 다음과 같습니다.
- 시스템에 접속하는 자 - 무단 접속과 눈가림 해제를 찾아내기 위함입니다.
- 데이터 포인트를 입력한 자와 시기 - 접속 허가, 위치, 입력 수칙 등을 준수하기 위함입니다.
- 데이터 변경 시점과 변경한 자, 사유 - 잦은 변경이나 데이터 조작 등의 문제를 파악하기 위함입니다.
- 기타 조치 - 임상시험계획서 준수에 필요한 질의, 검토, 승인 등입니다.
- 사용자 로그인 빈도 - 제대로 관리/감독하기 위함입니다.
- 통합 시스템의 경우 데이터 타임스탬프 - 연결 장애 등을 막기 위함입니다.
다시 말하면 변경 이력을 통해서는 데이터와 시스템에 접근한 자와 방법을 추적하여 각 데이터 포인트의 라이프사이클을 파악, 시험을 종합적으로 감독하고 데이터 무결성을 확보할 수 있습니다.
규제 요건
각국 규제 기관에서는 임상 연구 산업과 기타 분야에서 전자 데이터 시스템과 관련된 변경 이력을 시행하도록 지침과 규정을 마련했습니다.
미국의 주요 규정으로는 21 CFR Part 11이 있습니다. 전자 기록과 서명 사용에 관한 FDA의 지침을 명시한 것입니다. 이 규정에서는 사후 추적이 가능하도록 변경 이력을 작성, 전자 기록을 생성, 수정 또는 삭제하는 입력과 조치의 일시를 기록할 것을 요구하고 있습니다. 또한 변경 이력은 조작이나 삭제가 안 되도록 안전하게 보관하고 법에서 정한 기간만큼 보존하여 데이터 무결성을 지원해야 한다고도 명시하고 있습니다.
변경 이력은 또 사람이 읽을 수 있는 형식으로 검사가 가능해야 하며 정기 검토를 통해 규정을 준수하고 데이터 신뢰도를 확보해야 합니다. FDA에서 고시한 Electronic Source Data in Clinical Investigations 지침에도 전자 기록과 서명을 이용하는 조직은 FDA 지침을 준수하여 데이터 보안과 추적 가능성, 신뢰성을 확보해야 한다고 명시되어 있습니다.
International Council for Harmonisation's ICH E6(R3) Good Clinical Practice (GCP) 가이드라인에도 시스템에 변경 이력을 생성하는 기능을 두어 데이터 무결성을 확보해야 한다고 나와 있습니다. 유럽 의약품청(EMA)에서도 guidance on computerized systems and electronic data in clinical trials을 고시했습니다. 철저하게 변경 이력을 관리하여 데이터의 신뢰성과 추적 가능성을 입증해야 한다는 내용이 이 지침에 실려 있습니다. 마지막으로, 영국 의약품 의료제품 규제청(MHRA)도 2018년 GxP guide on data integrity를 고시하여 전자 데이터의 무결성을 입증함에 있어 변경 이력이 중요하다는 점을 강조한 바 있습니다.
전체적으로 보면 임상시험 시 변경 이력을 철저히 관리하여 궁극적으로 데이터의 무결성을 확보하는 것이 중요하다는 함의가 이 가이드라인 및 규정들에 담겨 있다고 할 수 있습니다.
변경 이력 검토 시 애로사항
요즘 임상시험에서는 변경 이력 검토 시 실효성을 떨어뜨리는 요소가 몇 가지 있습니다. 대표적으로 다음과 같습니다.
- 데이터 과부하: 임상시험에서 나오는 데이터가 워낙 방대해 실효성 있게 모니터링과 검토를 하기가 어렵습니다.
- 표준화 미비: 데이터 형식이 일정하지 않아 변경 이력을 통일성 있게 관리하기 어렵습니다.
- 오래 걸리는 수작업 검토: 변경 이력을 수작업으로 검토하면 인력도 많이 필요하고 속도도 나지 않습니다. 데이터가 클 때 실용성이 떨어집니다.
- 변경 이력 데이터 해석 시 전문성 부족ATR에는 전문 지식과 기술을 갖춘 인력이 필요합니다.
- 문서 작성 시 일관성 결여: 데이터를 문서화하는 방법이 일정하지 않으면 변경 이력에 누락이나 오류가 생기기 쉽습니다. 그러면 신뢰도가 떨어집니다.
- 플랫폼 간 통합 문제: 여러 시스템의 변경 이력을 통합하는 일은 실무적으로 까다롭습니다. 또 효율도 낮고 오류가 생기기도 쉽습니다.
변경 이력 검토용 생성형 AI
생성형 AI는 프로세스를 확대하고 데이터 인사이트를 신속하게 찾아 주는 능력이 있습니다. 변경 이력에 생성형 AI를 적용하면 AI가 방대한 데이터에서 일정 부분만 추출해 원하는 답을 제시해 줄 수 있습니다. 즉 변경 이력이 AI의 좋은 활용처가 되는 것입니다.
사용자는 ChatGPT 등과 같은 대규모 언어 모델(LLM)을 통해 데이터 입력, 특정 기간 내 변경 사항, 주요 데이터 변수 수정, 쿼리 해결 방법 등에 관해 구체적인 질문을 던질 수 있습니다. 또한 AI를 통해 비정상적인 접속 패턴과 보안 위반 위험을 표시하여 이상 징후를 신속하게 탐지할 수 있습니다.
아울러 AI 기반 도구에서는 빠른 사용자 쿼리를 기반으로 정제된 데이터 세트가 생성됩니다. 이 데이터 세트는 고급 분석과도 통합할 수 있습니다. 고급 분석을 반복 가능한 템플릿으로 구조화하면 예기치 않은 데이터 수정이나 시험기관 수준 불일치, 비정상적 환자 데이터 입력과 같은 추세를 꾸준히 모니터링할 수 있습니다.
그 구체적 양상은 다음과 같습니다.
- 중요한 데이터 변경 추적
- AI가 변경 이력 데이터를 소분류하여 중요한 데이터 변수의 변경에만 집중합니다.
- 이렇게 정제된 데이터 세트를 이용하여 시험기관 차원의 핵심 위험 지표(KRI)를 통해 상시 모니터링 체계를 수립할 수 있습니다.
- 데이터 변경률을 추적하여 수정 빈도가 현저히 높은 시험기관이 있으면 알려줍니다.
- 후속 조치: 시험기관 재교육, 프로세스 검토, 직원 교육, 잠재 위험 추가 조사
- 환자가 보고한 데이터에서 비정상적인 패턴 탐지
- 사전 위험 신호로 인해 지목된 시험기관에서 나오는 eCOA 변경 이력을 AI가 소분류합니다.
- 머신러닝 이상징후 탐지 기능을 적용하여 데이터 입력 패턴의 이상을 찾아냅니다.
- 사례: 한 시험기관이 다른 기관들과 다르게 비정상적으로 짧은 시간 안에 환자 데이터를 모두 입력했습니다.
- 후속 조치: 시험계획서 위반이나 부정 데이터 입력 가능성 조사
- 시간 외 데이터 입력을 찾아 시험기관 조사
- AI가 시간 외에 발생하는 변경 이력 입력을 찾아냅니다.
- 사례: 한 사용자가 동부 표준시 기준 오후 7시 이후에 전체 데이터 항목에 대해 질의했습니다. 이는 오후 11시에 여러 환자 기록이 업데이트된 시험기관이 있다는 의미입니다.
- 후속 조치: 시험기관 차원에서 검토하여 데이터 입력이 임상 환경에서 되었는지 외부에서 되었는지 확인하고, 준법 위험 평가를 실시합니다.
변경 이력 데이터 검토의 미래
임상시험에서 데이터 감독 도구의 중요성은 날이 갈수록 커지고 있습니다. 생성형 AI가 변경 이력 검토를 최적화하는 좋은 솔루션으로 부상했습니다. 변경 이력 데이터라고 해서 모두 다 중요한 것은 아니며, AI의 도움을 받더라도 방대한 포렌식 분석은 규제 기관에서 요구하지도 기대하지도 않습니다. 기업에서는 더 큰 틀의 위험 중심 원칙에 맞춰 변경 이력 검토 전략을 마련해야 합니다. 이때 초점을 맞춰야 하는 대상은 다음과 같습니다.
- 환자 안전이나 연구 무결성에 직접 영향을 미치는 핵심 데이터
- 데이터 불일치가 발생할 만한 장애 지점
- 심층 조사가 필요한 위험 영역
변경 이력 데이터의 역할이 커지면서 그 범위가 EDC와 eCOA 시스템을 넘어 다른 플랫폼과 시스템 통합 점검까지 확대되고 있습니다. 이는 다음 항목에 대한 필요성도 그만큼 커지고 있다는 의미이기도 합니다.
- 사용자 조치뿐만 아니라 변경의 근거까지 포괄하는 종합 메타데이터
- 조사와 분석이 원활히 되도록 변경 이력 메타데이터에 대한 무제한 접근성 확보
- 직원들이 갈수록 복잡해지는 환경을 효과적으로 탐색하도록 도와주는 사용자 교육과 훈련
Contact Us
