[NEXT Seoul 2024] Medidata eCOA 적용 및 실시간 모니터링 사례

* 해당 포스트는 NEXT Seoul 2024의 세션을 요약 및 발췌하여 작성한 내용입니다.

by 김소희 이사 (임상통계팀, 유한양행)

eCOA 개념

eCOA(electronic Clinical Outcome Assessment)는 PRO(Patient Reported Outcomes)는 물론, ClinROs(Clinician Reported Outcomes), ObsROs(Observer Reported Outcomes), PerfOs(Performance Outcomes) 등 다양한 전자 데이터 유형을 포괄합니다. eCOA는 대상자가 직접 데이터를 입력하므로 빠르고 오류가 적어 데이터 품질이 좋다는 장점이 있습니다.

종이 설문지 사용과 eCOA 사용은 어떤 점이 다를까요? 시스템 관점에서 생각해보면 종이 설문지를 사용할 경우에는 EDC만 세팅하면 됩니다. 그러면 대상자가 종이 설문지에 작성한 내용을 사이트 관계자가 EDC에 입력합니다. 이때 대상자가 종이에 입력한 데이터는 소스가 됩니다. 하지만 사이트에서 입력하는 과정에서 이 소스 데이터는 약간의 수정이 필요할 수도 있습니다. 이 과정에서 소스 데이터에 대한 검증과 PI 서명이 필요합니다.

한편 EDC에 eCOA가 추가될 경우, 대상자는 eCOA시스템을 통해 직접 입력하기 때문에 입력한 데이터가 소스가 됩니다. 따라서 더 이상 소스 데이터를 검증하거나 PI 서명이 필요하지 않습니다.

eCOA에 관심을 갖게 된 배경

유한양행은 FDA Draft Guidance가 발간되면서 eCOA 도입을 본격적으로 고려했습니다. 2021년, Patient-Reported Outcomes에 대한 드래프트 가이던스에서는 치료 초반에 중요한 PRO를 좀더 자주 모을 것을 권장하고 있습니다.

대부분의 임상시험은 방문 주기가 정해져 있습니다. 항암제의 경우 처음 한 사이클 즉, 처음 3주 동안을 매주 방문하지만, 그 다음은 3주마다, 또 그 다음은 6주마다 방문합니다. 가이드라인이긴 하지만 FDA에서는 초기 8주에는 주 1회로 PRO를 열심히 모으고, 그 다음에는 간격을 더 줘서 모으는 것을 권장합니다. 이러한 지침을 보면서 사이트를 방문해 종이로 작성하는 방식은 점점 더 어려워질 것이라는 생각을 했습니다.

실제로 많은 연구계획서가 이미 이와 같은 가이던스에 따라 진행되고 있음을 확인할 수 있었습니다. 2023년에 발표된 한 연구에서는 3주 간격이 한 사이클이었습니다. 처음 한 사이클은 매주, 그런 다음에는 3주 간격으로 방문을 진행한 것입니다. 그런데 PRO를 보면 EORTC QLQ LC13의 경우 8주까지는 주간 단위로, 그 다음은 3주 간격으로 명시되어 있습니다. C30은 3주마다, 그 이후는 6주마다 진행하는 것으로 되어 있습니다. 이와 같은 방식으로 동일한 형태의 설문에 대해서도 서로 다른 방문을 정의하고, 사이트에 방문하지 않는 시기에는 PRO를 전자적으로 모으고 있습니다.

메디데이터 eCOA 세팅

우선, 유한양행은 비교적 작은 스터디로 시작하고자 했습니다. 처음부터 큰 규모로 하기에는 부담스러웠습니다. 연구명은 YH35324-103 Study. 만성 두드러기 질환에 사용되는 알러지 질환 치료제입니다. 싱글 도즈 1상 스터디인데 더블 블라인드, 위약 활성대조로 진행되는 3가지 코호트로 진행했습니다. 두드러기는 가려움이 굉장히 심한 질환으로, 가려움증이 얼마나 잘 해소됐는지에 대한 환자의 주관적인 평가가 중요한 엔드 포인트로 작용합니다.

9개 사이트에서 36명을 대상으로 진행한 이 연구는 규모는 크지 않지만 굉장히 다양한 설문을 적용했습니다. ‘두드러기가 잘 컨트롤되고 있는지’를 매 방문, 4주마다 방문해서 확인하고, 집에서 구제약물을 먹는 경우 약물을 먹을 때마다 기록하도록 했습니다. 가려움증이 얼마나 개선되고 있는지는 하루에 두 번 입력하도록 했습니다. 57일까지 매일 하루에 두 번 입력하면 환자당 데이터 포인트가 100포인트가 넘어갑니다. 36명이면 3,600포인트이기 때문에 기관에서 수동적으로 입력하기에는 부담스러운 범위입니다.

가려움증의 가장 나쁜 정도를 측정하는 NRS 평가의 경우 0점~10점까지 체크하도록 설정했습니다. 가려움증이 얼마나 활성화되어 있는지, 가려움증과 두드러기가 나타나는 개수를 기준으로 평가하는 설문지도 포함했습니다. 물론 이는 굉장히 주관적인 평가입니다. 바로 이러한 평가를 eCOA로 진행하고자 했습니다.

메디데이터에서 제시한 eCOA 세팅 기간은 12주였습니다. 1주차 프로토콜 및 종이 COA 검토, 2주차 최초 설계 미팅, 5주차 스크린 리뷰, 내부 및 고객 디바이스 UAT, 8주차 디바이스 테스트 및 저자 승인,19주차 UAT, 12주차 교육 및 라이브 등으로 정리됩니다.

이 중 가장 예상하지 못했고, 시간이 많이 걸린 부분이 ‘저자 승인’이었습니다. 종이 설문 그 자체를 사용하는 것이 아니다 보니 화면에 구성되어 있는 형태를 스크린 캡처를 해서 한 번 더 설문지 판권 소유자가 검토 및 승인을 해야 진행할 수 있는 지점이 있었습니다. 각 단계마다 과제는 조금씩 달랐지만 실제로 해보니 약 3개월 정도의 시간이 필요했습니다.

eCOA 세팅 시 고려사항

1) 디바이스 유형

국내에서만 진행하는 연구였기 때문에 환자가 사용하는 휴대폰을 이용하도록 했습니다. 그러다 보니 PP-NRS(최대 가려움증 등급 평가)가 문제가 됐습니다. PP-NRS가 다분히 주관적인 만큼, 생각보다 설명이 굉장히 길었던 것입니다. 또 0점에서 10점까지 표현을 하도록 했는데 한 화면에 모든 내용이 담기지 않아 내용이 잘리는 일이 다반사였습니다. 이는 대상자에게 불편을 줬고, 의도를 명확히 전달하는 데도 문제가 됐습니다. 결국 이 문제를 해결하기 위해 사이트에 아이패드를 제공했고, PP-NRS는 대상자가 사이트를 방문할 때 평가하게 했습니다.

2) 사이트 VS. 자택

디바이스를 집에서 사용하게 할 것인지, 사이트에서 사용하게 할 것인지도 논의해야 합니다. 저희의 경우 아이패드가 사이트에 제공된 만큼, 대상자가 사이트에 방문했을 때 진행되는 설문지는 아이패드로 하기로 했습니다. 연구자의 평가를 아이패드로 진행하는 것도 고려했지만 진료를 하면서 아이패드에 로그인하고 대상자를 검색해 입력하는 일이 현실적으로 어렵다는 기관의 피드백을 반영하여, ClinROs는 eCOA 세팅에서 제외하고 종이로 진행했습니다. 그 외 대상자가 작성하는 것은 사이트에서는 아이패드, 집에서는 자신의 휴대폰을 사용하게 했습니다.

3) EDC 및 eCOA 종속성

eCOA 세팅 시 메디데이터는 하나의 플랫폼에 통합되어 데이터를 보여주는 형태이므로, 당연히 서로 간에 종속성이 존재합니다. 가장 처음으로는 EDC에 Subject ID가 생성되어야 eCOA에도 Subject ID가 보입니다. 그 다음 EDC에서 Visit가 매핑 되어야 eCOA에서 해당하는 Visit이 보입니다. 처음 세팅할 때는 이 정도를 하고, 그 다음은 설문지 특성에 따라 반영할 수 있습니다. Daily Diary의 경우, Screening Visit 데이터를 한 번만 입력하면 해당 Logline의 폼을 모두 입력할 수 있게 열리므로 환자들이 매일 입력할 수 있어 큰 어려움이 없습니다.

한편 사이트를 방문해 입력해야 하는 경우에는 해당하는 Visit 폼을 입력해야 해당하는 Visit의 설문지가 eCOA에도 열립니다. 이 정도의 종속성을 고려하며 eCOA를 설정해야 합니다. 따라서 성공적으로 자료를 모으려면 사이트에 대한 교육을 잘 실시하고 적극적으로 도와야 합니다.

4) 리소스 및 백업 계획

사실, eCOA를 전자설문지 정도로 생각하고 접근했습니다. 하지만 설문 작성이라고는 해도 eCOA라는 새로운 시스템을 구축하는 일이다 보니 각종 규정 등을 만족시키기 위한 여러 노력이 필요했습니다. 그 과정에서 메디데이터 팀과는 세팅 중에는 주 1회, 라이브 후에는 월 1회 미팅을 하면서 필요한 것을 논의했습니다.

메디데이터와 처음 킥오프 미팅을 한 후에 타임라인을 받았는데, 원하는 개시 날짜보다 훨씬 뒤였습니다. 결국 종이 설문을 같이 개발했습니다. EDC 화면 상에 eCOA로 들어오는 데이터 페이지가 하나 있고, 추가로 종이 설문으로 들어오는 데이터 페이지를 하나 더 만든 것입니다. 하지만, 다행히 첫 환자 등록 전에 eCOA를 오픈할 수 있어서 모든 데이터를 eCOA로 수집했습니다.

eCOA 세팅 시 예상치 못한 문제

1) 물류

디바이스를 수입할 때 전파 인증 관련 이슈가 발생합니다. 메디데이터 본사가 미국에 있는 만큼, 미국에서 아이패드를 들여오려는 과정에서 전파 인증 이슈가 발생했습니다. 누군가 전파 인증을 받아서 합법적으로 유통하는 모델이라 하더라도, 해당 법인/개인을 벗어나면 각 개인/법인마다 개개의 제품별로 인증을 따로 받아야 합니다. 저희의 경우 자사 수입팀과 협업하여 면제받을 수 있는 여러 서류를 제출하여 진행할 수 있었습니다. 따라서 디바이스 수입 시 발생할 수 있는 이슈를 사전에 확인하고 준비하는 것이 좋습니다.

2) 설문지 판권 소유자 승인

가장 대표적인 어려움이 설문지 판권 소유자 승인이었습니다. 국내에서 진행한 연구이므로 한국어 설문지만 사용했습니다. eCOA는 한 문항이 한 화면에 나옵니다. 따라서 각 문항의 스크린 캡처본을 저자에게 보내 승인을 받아야 하는데, 이 과정에 많은 시간이 소요됐습니다. 소유자의 회신이 생각보다 느렸고, 한국어 화면과 영어 화면을 함께 요청하는 경우도 있었습니다. 이 때문에 연구에 사용하지 않을 영어 버전을 개발해야 하는 번거로움이 있었습니다.

라이브 후 발생한 문제 및 장점

라이브 후에는, EDC 상에서 빈 화면으로 있다가 eCOA 쪽 앱에서 데이터가 입력되면 External Audit Record라고 ePRO 디바이스에서 값이 들어왔음을 알리는 Audit Trail이 EDC 상에 찍힙니다. EDC의 Audit Trail만 확인하면 언제 들어온 데이터인지 쉽게 확인할 수 있습니다.

1) 데이터 수정

누구나 피할 수 없는 데이터 수정 문제가 생겼습니다. 이 연구에서는 구제 약물을 미리 제공했으며, 필요한 경우 구제 약물을 먹고 이를 eCOA에 입력하도록 안내했습니다. 그런데 어느날 입력된 자료를 보니 0.1이라고 적혀 있었습니다. 사이트에서 직접 대상자에게 확인한 결과, 잘못 기입한 것이었습니다. 그렇다면 이것을 어떻게 고칠 수 있을까요?

데이터를 수정할 일이 있으면 사이트에서 이를 수행한 후 관련 내용을 잘 남겨야 한다는 합의 문서가 있었습니다. 어떤 데이터의 엔트리 간에 수정이 항상 발생할 수 있음을 인지하고, 발생한 수정을 어떻게 진행을 할 것인지를 초반부터 프로세스를 잡는 것이 중요합니다.

환자의 주관적인 증상은 건드리지 않고 객관적인 숫자만 수정할 수 있는 데이터 변경 프로세스를 추가적으로 마련했습니다. 누가 되었건 데이터 이상이 발견되면 사이트에서 대상자에게 연락해서 맞는지 물어본 다음, 고쳐야 한다면 고치도록 했습니다.

eCOA는 데이터를 전송하면 전송된 데이터는 휴대폰에 남지 않습니다. 따라서 환자가 수정할 방법이 없으므로 데이터가 들어와 있는 EDC에서 수정을 하게 됩니다. 수정 시 소스는 남겨야 하므로 우리의 경우, 소스 데이터를 EMR에 남기고 한시적으로 데이터를 변경할 수 있는 롤을 사이트에 부여했습니다.

2) 실시간 디바이스 알림

eCOA를 사용했을 때 가장 기대하는 장점은 실시간 알림이었습니다. 그러나 알림이 너무 잦으면 기능을 꺼버릴 수 있으므로 섬세하게 설정할 필요가 있습니다.

3) 실시간 데이터 모니터링

데이터가 실시간으로 들어오므로 수동 모니터링을 포함한 작업을 손쉽게 진행할 수 있습니다. 우리의 프로토콜은 Eligibility 상에 어느 정도 이상의 가려움증이 있는 사람이 들어올 수 있으므로 스크리닝 점수가 특정 점수 이상이어야 했습니다. 이러한 점수를 바로 확인할 수 있습니다. 또 등록된 이후라도 인하우스에서 이상 데이터를 실시간으로 확인할 수 있었습니다. 정기적으로 메디컬 리뷰 미팅을 하는 데 구제 약물을 과하게 사용하는 것으로 판단되면 좀 이르게 컨택해서 문제 지점이 있는지 살펴봅니다.

사이트와 팀 모두의 만족도 향상

걱정과 달리, eCOA 시스템을 구축하고 이를 통해 설문을 진행하는 일에 사이트와 팀 모두가 높은 만족을 나타냈습니다. 사이트에서는 연구 참여자의 진입 부담이 줄었다는 피드백을 보냈습니다. 대상자 대부분이 직관적인 인터페이스로 편리하게 사용할 수 있다고 답했습니다.

팀 또한 Rave EDC와의 통합으로 별도의 조정이 필요 없고, 실시간 입력 및 실시간 데이터 검토, 알림을 통한 방문 기간 내 데이터 입력 장려, 오류 감소로 데이터 품질 향상 등을 장점으로 손꼽았습니다. 비록 세팅 과정은 결코 쉽지 않았지만 그로 인해 수많은 장점을 누릴 수 있는 것만은 분명했습니다.

다시 한번 강조하지만 디바이스를 기관에 제공할 경우 전파 인증을 반드시 체크해야 하며, 데이터 변경 프로세스는 초반부터 계획해야 합니다. 그리고 가장 중요한 것은 사이트의 참여입니다.