[NEXT Seoul 2024] 임상 빅데이터와 머신러닝 기술을 활용한 효율적 임상운영

* 해당 포스트는 NEXT Seoul 2024의 세션을 요약 및 발췌하여 작성한 내용입니다.

by 김나현, PhD., Solution Sales Specialist, Medidata

임상시험의 도전 과제와 고충

임상을 운영하면 여러가지 문제에 직면합니다. 임상 계획 단계에서는 디자인 개발에 어려움이 있고, 운영 단계에서 환자 등록 및 사이트의 성과가 저조해 사이트를 변경하는 등의 문제가 발생합니다. 이런 모든 일련의 문제들은 결과 보고에도 영향을 줍니다. 이 중에서도 특히, 운영 단계에서 발생하는 문제에 집중해 보겠습니다.

메디데이터가 보유한 데이터와 외부 데이터를 분석한 결과, 글로벌 연구에서 임상시험 기관의 50%가 임상시험 등록 목표를 달성하지 못하는 것으로 나타났습니다. 운영 사이트의 절반은 아예 제대로 작동하지 않는다는 의미입니다. 또한 사이트 중 실제로 단 한 명도 모집하지 못하는 경우가 37%나 됩니다. 이러한 일은 등록 단계에서도 문제가 되지만 결과를 보고하는 단계에서도 당연히 결과값이 제대로 나오지 않습니다. 또한, 최근 FDA에서 다양성을 많이 언급하고 있는데도 불구하고 글로벌 연구 임상시험 참가자의 73%가 백인인 것으로 나타났습니다. 이는 FDA에서 강조하는 다양성이 결여된 상태라고 할 수 있습니다.

. 프로토콜 복잡성 증가로 환자 등록의 어려움 심화

2009년~2020년까지의 데이터를 3년 단위로 나눠 분석한 결과, 엔드 포인트, 환자 모집 조건, 환자 방문마다의 프로시저 등에서 계속해서 개수가 증가하는 것을 확인할 수 있었습니다. 이는 특히, 환자 등록 단계에서 고려해야 하는 요소 즉, 선정제외 기준이 복잡해지면 환자 등록이 어려워진다는 의미입니다. 또 환자 방문 시 검사할 요소가 많아지면 환자는 귀찮음 때문에 참여를 꺼릴 수 있습니다. 이와 같은 모든 요소가 환자 등록을 어렵게 합니다.

. Oncology 2상 및 3상 임상시험 등록률 감소

Oncology 임상 2상과 3상을 따로 분석한 결과, 사이트의 스터디는 계속 증가하는 데 반해 등록률은 감소하고 있습니다. 연구는 증가하지만 등록할 수 있는 환자가 점점 줄어든다는 의미입니다. 임상시험 경쟁은 무려 60%나 증가했습니다. 그만큼 운영에 어려움이 많아지고 있습니다.

. 임상시험에서 다양성 강조

FDA에서는 2022년, 다양성에 대한 가이드를 제시했습니다. 다양한 인종이 사는 국가인 만큼 소수 인종 및 민족을 대표하는 데이터 확보가 필요하다는 이유입니다. FDA 담당자는 한 언론 인터뷰에서 다양성이 중요한 이유에 대해 다음과 같이 언급했습니다. “각 인종 및 민족성마다 안전성과 유효성에 차이가 있으므로 이러한 차이에 대해 대표성을 가진 데이터 값이 필요하고, 다양한 인구를 위해 신약에 대한 동등한 접근성을 제공해야 합니다.”

AI 및 머신러닝으로 운영 가속화

. 임상시험기관 순위 및 예측

임상 운영의 다양한 어려움은 AI와 머신러닝을 통해 극복할 수 있습니다. 먼저, 임상시험 기관의 50%가 임상시험 등록 목표를 달성하지 못하는 이 현실은 ‘시험기관 순위 및 예측’으로 해결할 수 있습니다. 등록 목표를 달성하기 위해 사전에 해당 사이트가 잘 운영될지를 예측해 보고 사이트를 선정하는 것입니다. AI와 머신러닝을 활용하면 히스토리컬 데이터를 기반으로 사이트를 선정하고, 예측 모델을 통해 해당 사이트가 얼마나 운영이 잘 될지를 예측할 수 있습니다.

. 실시간 비교

37%의 임상시험 시험기관이 단 한 명의 환자도 등록하지 못하는 문제는 ‘실시간 비교’를 통해 해결할 수 있습니다. 사이트의 성과를 실시간으로 모니터링하여 내 사이트가 업계 벤치마크보다 늦는지 빨리 잘 가고 있는지를 실시간으로 비교하는 것입니다.

. 히스토리컬 데이터

다양성은 앞으로 더욱 중요한 이슈가 될 것입니다. 다양성을 충족하는 다양한 인종과 민족성을 구성하는 연구가 되도록 하기 위해 ‘히스토리컬 데이터’를 통해 이를 충족시키는 연구 운영을 할 수 있습니다.

FDA의 AI 및 머신러닝 가이드라인

FDA는 이미 2023년, AI와 머신러닝을 사용하는 임상연구 운영에 대한 가이드를 제시했습니다. 전 임상부터 임상 연구, 포스트 마케팅, 안전성 모니터링에 이르기까지 모든 연구의 각 항목마다 AI와 머신러닝을 사용할 수 있고, 어떤 식으로 데이터를 활용하면 좋겠다는 내용을 담고 있습니다.

해당 가이드라인에서는 환자 등록 및 유지, 기관 선정에 대해 다음과 같이 언급하고 있습니다. “환자 등록 및 유지: 과거 데이터 및 진행 중인 연구 데이터를 활용하여 연구대상자의 부담을 줄일 수 있고, dropout과 AE를 예측하여 환자 유지를 강화할 수 있다.” “기관 선정: AI/ML의 활용으로 최적의 연구 사이트를 확인하고 운영 프로세스를 보다 성공적으로 진행할 수 있다. 예를 들어 해당 사이트에서 진행한 타 연구의 데이터를 근거로 지연 리스크를 파악하고 알고리즘을 통해 사이트 퍼포먼스를 평가할 수 있다.”

Medidata AI

그렇다면 Medidata AI에서는 어떤 데이터를 사용할까요? 메디데이터는 현재까지 3만 3000건의 글로벌 연구를 함께 진행했고, 6,000건의 온고잉 스터디를 함께하고 있으며, 1,000만 건의 환자 데이터를 보유하고 있습니다. 메디데이터 AI는 이러한 빅데이터를 활용합니다.

메디데이터에서는 데이터를 사이트 레벨 데이터와 환자 레벨 데이터로 분류하여 관리하고 있습니다. 사이트 레벨의 데이터는 등록과 관련된 내용을 검토할 수 있습니다. 환자 레벨 데이터는 좀더 특화된 데이터입니다. 오늘은 운영만 다루기 때문에 사이트 레벨 데이터만 소개하겠습니다.

사이트 레벨 데이터란?

스터디(Study) 레벨의 데이터는 각 연구마다 가지는 특성(국가 수, 사이트 수 등)을 보여줍니다. 스터디 디자인 및 스터디 전반의 등록률 등이 포함되어 있습니다. 컨트리(Country) 레벨은 연구 국가 레벨의 운영 매트릭스로, 국가별 등록률(pt/사이트-월), 기타 운영 지표(예: 화면 실패율) 등을 볼 수 있습니다. 사이트(Site) 레벨은 각 사이트 별로 등록률(pt/사이트-월), 기타 운영 지표(예: 화면 실패율) 등을 볼 수 있습니다.

한편, 환자(Patient) 레벨은 사이트 레벨 데이터에 포함되지 않습니다. 선정제외 기준을 기준으로 사이트를 선정하려는 경우, 각 사이트의 운영력을 판단하기 위해 데이터를 검토하게 됩니다. 만일 환자 레벨에서 데이터를 검토한다면 훨씬 적은 볼륨의 데이터를 검토하게 되므로 확실성이 줄어들 수 있습니다. 따라서 보다 넓은 인사이트를 제공하기 위해 사이트 레벨까지만 데이터를 공유합니다.

Medidata AI Intelligent Trials 제품군

Medidata AI Intelligent Trials는 운영 데이터를 활용하는 솔루션입니다. 여기에는 Study Feasibility with Diversity, Performance Analytics 제품이 있습니다.

. Study Feasibility with Diversity

Study Feasibility with Diversity는 최적의 사이트 선정 및 다양성을 확보하도록 돕는 솔루션입니다. 이를 통해 기관 선정 계획을 향상할 수 있습니다. 빅데이터 기반의 예측 모델로 최적의 사이트를 선정하고, 그로 인해 등록 기간이 가속화되고, 다양성 규제를 충족할 수 있습니다.

. Performance Analytics

Performance Analytics는 실시간 사이트 모니터링으로 이해하시면 됩니다. 내 연구와 타 연구를 실시간으로 비교하고, 국가별 및 사이트별 비교가 가능합니다. 이를 통해 등록 마일스톤을 예측할 수 있습니다.

Medidata AI Intelligent Trials의 2가지 서비스 모델

. 플랫폼 서비스 모델

Medidata AI Intelligent Trials에는 플랫폼 서비스 모델과 API 서비스 모델이 있습니다. 플랫폼 서비스 모델의 경우, iMedidata에 접속해 여러 매트릭스를 볼 수 있습니다.

클릭 한 번으로 사이트 리스트, 사이트 혼잡도, 사이트 정보, PI 정보를 확인하고, 사이트 세그먼트를 위한 예측 사이트 순위 모델을 활용하여 등록을 가속화하고 품질을 개선할 수 있습니다. 시나리오 분석도 제공합니다. 이를 활용하면 사전에 마일스톤을 세우고 연구 등록을 예측할 수 있으므로 시험 계획 및 실행에 대한 자신감을 얻을 수 있습니다.

업계 연구를 벤치마킹하여 내 연구의 인종이 타 연구와 어떻게 차이가 나는지, 구성을 어떻게 해야 하는지 등을 확인할 수 있으며, 부족하다면 추가적으로 사이트별로 추천 가능한 여러 인종을 선택할 수 있습니다.

각 사이트별 성과 분석도 가능합니다. Performance Analytics를 활용하면 각 사이트마다 내 연구의 실시간 등록률, 업계의 실시간 등록률을 비교하고, 매주 업데이트되는 데이터로 내 연구의 진행 상태를 확인할 수 있습니다. 국가별로도 확인이 가능하기 때문에 내 연구의 속도를 바로 체크할 수 있습니다.

. API 서비스 모델

API 서비스 모델은 서비스 방식만 다르고 제공하는 매트릭스, 서비스 내용은 플랫폼 서비스 모델과 동일합니다. API 모델은 내부 애플리케이션이 있는 경우, 이 애플리케이션과 Medidata AI Intelligent Trials를 API 모델로 연결할 수 있습니다. 따라서 플랫폼에 로그인하지 않아도, 회사 내부에서 사용하고 있는 서비스를 통해 메디데이터의 데이터와 함께, 예측 모델과 같은 다양한 매트릭스를 사용할 수 있습니다.

API 모델은 데이터를 표준화하여 퍼포먼스 매트릭스를 함께 적용할 수 있습니다. 또한 내부 데이터에서 어떤 사이트에 대해 정보가 미완성되는 경우가 있는데, 이 미완성 정보를 메디데이터 데이터와 통합하면서 사이트 매칭 또는 사이트 매핑이라고 하는 서비스를 통해 충분한 데이터로 만들어 추가적으로 검토할 수 있게 돕습니다. 이를 통해 사이트 퍼포먼스에 대한 폭넓은 검토가 가능해집니다.

Medidata AI Intelligent Trials 활용 사례

많은 메디데이터 고객이 Medidata AI Intelligent Trials를 활용해 임상 운영을 개선하고 있습니다.

. Oncology 연구 등록 가속화

이 고객은 등록 지연 문제를 해결하기 위해 메디데이터와 협업했습니다. 이 연구는 처음 25개 사이트를 선정했고, 이 중 40%(10개 사이트)가 굉장히 저조한 등록 실적을 보여, 메디데이터의 예측 모델링을 통해 추천 사이트를 선택하고자 했습니다. 당시 모델링에서 퍼포먼스가 높은 사이트는 평균 등록률이 0.30, 낮은 사이트는 0.03으로 10배 이상 큰 차이가 발생했습니다. 미등록 수의 경우 높은 성과를 보인 사이트는 30%밖에 되지 않았지만, 낮은 사이트는 90% 이상 등록이 되지 않은 것을 확인했습니다.

메디데이터가 추천한 사이트로 변경한 결과, 기존 상태에서는 예상 퍼포먼스가 15개월 이상이었던 것에 반해, 11개월 미만이 되는 성과를 이뤘습니다. 등록을 4개월 단축한 것입니다. 결과적으로 사이트 성과 향상, 25% 이상 등록 기간 단축, 비용 절감 등의 효과를 경험했습니다.

. 환자 중도 탈락 예측

사이트 레벨의 데이터와 일부 환자 레벨의 데이터를 함께 사용한 사례입니다. 알츠하이머 연구는 환자 중도 탈락이 높습니다. 중도 탈락에 영향을 줄 수 있는 위험 요소를 사전에 예상하고자 했던 이 고객은 메디데이터와 함께 예측 모델을 개발했습니다. 그 결과, 예측 모델은 80% 이상의 정확도를 보였으며, 예측했던 변수들에 따라 중도 탈락이 높을 것 같은 환자를 사전에 예방하는 임상 설계 및 전략을 세울 수 있었습니다.

. 향후 임상시험 개선을 위한 다양성 분석

이 고객은 내 연구가 다른 업계 연구에 비해 인종 분포가 어떻게 되는지 비교하고 이를 개선하고자 했습니다. 특히, 흑인 대상자 분포를 확인하고자 했습니다. 메디데이터의 다양성 분석 결과, 일반적인 다른 연구보다 절반밖에 되지 않은 흑인 대상자를 보유한 것이 밝혀졌고, 20~40% 이상의 흑인 참가자를 등록할 수 있는 상위 5개 사이트를 추천받아 문제를 해결했습니다.

. 사이트 검증

이 고객은 사이트를 검증하고자 했습니다. 스폰서 리스트에는 각 리전마다 데이터를 분류했지만 EU의 경우 93개의 사이트 정보를 갖고 있었습니다. 하지만 메디데이터의 리스트를 검토한 결과, 177개의 리스트를 갖고 있었습니다. 겹치는 사이트는 88개밖에 없었기 때문에 89개의 사이트 정보는 새로운 데이터임이 확인되었습니다. 이처럼 메디데이터 플랫폼을 통해 메디데이터 데이터를 내부 데이터와 결합시킴으로써 추가된 데이터를 검토하고 다양한 국가와 사이트를 더 많이 검토할 수 있도록 가능성을 높였습니다.

효율적인 글로벌 연구 운영 전략

지금까지 임상 운영 단계에서 사용할 수 있는 Medidata AI Intelligent Trials에 대해 소개했습니다. 빅데이터와 AI, 머신러닝을 활용하는 Medidata AI Intelligent Trials는 효율적인 글로벌 연구 운영을 위한 충분한 전략이 되어줄 것입니다.