شواهد تشخیصی از صحت یک آزمون برای شناسایی وضعیت هدف مورد علاقه را می توان با استفاده از رویکردهای سیستماتیک به دنبال روشهای استاندارد شده تخمین زد. روشهای آماری برای متاآنالیز مطالعات آزمایش تشخیصی (DTA) نسبتاً پیچیده است و یک چالش را برای داوران بدون تخصص آماری گسترده ارائه می دهد. در سال 2006 ، ما متا دیسک ، یک نرم افزار کاربر پسند رایگان برای انجام متاآنالیز تست تست تهیه کردیم. این برنامه آماری اکنون به طور گسترده ای برای انجام متاآنالیزهای DTA استفاده می شود. ما با هدف ساختن نسخه جدیدی از نرم افزار متا دیسک برای شامل روشهای آماری مبتنی بر مدل های سلسله مراتبی و یک رابط مبتنی بر وب پیشرفته برای بهبود تجربه کاربر انجام شد.
نتایج
در این مقاله ، ما نسخه به روز شده ، Meta-DISC 2. 0 را ارائه می دهیم ، یک برنامه مبتنی بر وب که با استفاده از بسته R براق تهیه شده است. این نسخه جدید برای غلبه بر محدودیت های رویکردهای آماری موجود در نسخه قبلی ، مدلهای آماری پیشرفته را توصیه می کند. Meta-DISC 2. 0 با استفاده از یک مدل اثرات تصادفی دو متغیره ، تجزیه و تحلیل آماری از بررسی های DTA را انجام می دهد. این برنامه تجزیه و تحلیل کاملی از ناهمگونی ، محاسبه برآورد واریانس ورود به سیستم از حساسیت و ویژگی ، مربع دو متغیره ، مساحت بیضی پیش بینی 95 ٪ ، و نسبت شانس متوسط برای حساسیت و ویژگی و تسهیل زیر گروه و متا-بازگشتتجزیه و تحلیلعلاوه بر این ، مدل های اثرات تصادفی یک متغیره را می توان در متاآنالیزها با مطالعات اندک یا با مدلهای دو متغیره غیر همزمان استفاده کرد.
رابط کاربردی دارای طراحی بصری است که در چهار منو اصلی تنظیم شده است: بارگذاری پرونده. توضیحات گرافیکی (توطئه های هواپیمای جنگل و ROC) ؛متاآنالیز (جمع آوری حساسیت و ویژگی ، تخمین نسبت احتمال و نسبت شانس تشخیصی ، منحنی SROC). و خلاصه یافته ها (تأثیر آزمون از طریق پیامدهای پایین دست در یک جمعیت فرضی با شیوع معین).
تمام الگوریتم های محاسباتی با مقایسه نتایج به دست آمده با بسته های STATA/SAS و Metadta در چندین مجموعه داده واقعی تأیید شده اند.
نتیجه
ما یک نسخه به روز شده از نرم افزار متا دیسک را که در دسترس تر و از نظر آماری سالم تر است ، تهیه و تأیید کرده ایم. برنامه وب آزادانه در www. metadisc. es در دسترس است.
زمینه
ارزیابی نقش و ویژگی‌های ابزارهای تشخیصی به یک اولویت برای سیاست‌گذاری و تصمیم‌گیری بهداشت جهانی تبدیل شده است که عمدتاً به دلیل توسعه فناوری‌های جدید برای بیماری‌های شناخته شده و ظهور شرایط مضر جدید که بر جمعیت‌های بزرگ تأثیر می‌گذارد [1]، 2]. شواهد تشخیصی صحت یک آزمون برای تشخیص یک وضعیت هدف مورد علاقه را می توان با استفاده از رویکردهای سیستماتیک به دنبال روش های استاندارد ارزیابی کرد [3]. به طور خلاصه، مطالعات تشخیصی بر تخمین توانایی ابزار شاخص برای شناسایی افراد با یا بدون شرایط مورد علاقه تمرکز دارند [3]. سپس سنتز شواهد به دو کمیت نیاز دارد: حساسیت و ویژگی آزمون و همبستگی بین آنها [4]. رویکرد آماری مورد استفاده بستگی به انتخاب بین تخمین دقت برای یک آستانه مشترک (یعنی یک نقطه عملیاتی متوسط)، یا یک منحنی مورد انتظار در بسیاری از آستانه ها (یعنی یک منحنی خلاصه ROC) [5،6،7]، با استفاده از بسته های نرم افزاری تجاری باویژگی های تحلیلی مورد نیاز برای برازش مدل های سلسله مراتبی پیچیده.
اخیراً دریافتیم که ترکیب آماری داده‌های دقت یکی از روش‌هایی است که اغلب در طول توسعه بررسی‌های سریع تست‌های تشخیصی حذف می‌شود [8]. بنابراین، این یک گلوگاه بالقوه برای ارزیابی گسترده ابزارهای تشخیصی خواهد بود [8]. برای چندین سال، نرم افزار Meta-DiSc یکی از پرکاربردترین برنامه های آماری در فراتحلیل داده های تشخیصی با بیش از 1300 استناد در مقالات علمی با داوری شده است [9]. این یک ابزار رایگان در دسترس و با استفاده آسان است که بازبینان را قادر می‌سازد تا روشهای آماری را برای متاآنالیز دقت تست تشخیصی (DTA) در چارچوب ترکیب شواهد اعمال کنند. این نرم افزار روش های آماری توصیه شده در طول توسعه خود را پیاده سازی کرد، از جمله مدل خطی ارائه شده توسط لیتنبرگ و موزس، و شاخص تک متغیره I-squared برای کمی سازی ناهمگنی. مدل های سلسله مراتبی در حال حاضر روش انتخابی برای غلبه بر محدودیت های رویکردهای آماری قبلی هستند [3]. این پیشرفت‌های روش‌شناختی ما را بر آن داشت تا Meta-DiSc را به‌روزرسانی کنیم تا روشهای آماری فعلی را برای متاآنالیز بررسی‌های سیستماتیک دقت تست و یک رابط مبتنی بر وب پیشرفته برای بهبود تجربه کاربر در بر گیرد. هدف ما توسعه نسخه جدیدی از نرم افزار Meta-DiSc به عنوان یک برنامه وب (برنامه) برای خلاصه کردن نتایج DTA با استفاده از روش های آماری مبتنی بر مدل های سلسله مراتبی بود.
پیاده سازی
ما یک برنامه مبتنی بر وب با استفاده از نرم افزار R Shiny توسعه داده ایم. Shiny را می توان برای ساخت برنامه های تعاملی مبتنی بر R به طور مستقیم در RStudio، محیط توسعه یکپارچه برای R استفاده کرد. این برنامه با استفاده از پلت فرم shinyapps. io مستقر شده است.
برآورد شاخص های دقت تشخیصی تلفیقی
این برنامه تجزیه و تحلیل آماری بررسی های DTA را با استفاده از مدل اثرات تصادفی دو متغیره [5] و تابع گلمر بسته lme4 [10] برای برازش یک مدل اثر مختلط خطی تعمیم یافته انجام می دهد. نقاط خلاصه (متوسط حساسیت و ویژگی) و پارامترها برای به تصویر کشیدن منحنی sROC مشتق شده‌اند. نسبت‌های احتمال مثبت و منفی (LR) و نسبت شانس تشخیصی (DOR) از پارامترهای مدل به‌دست می‌آیند. روش دلتا در بسته msm [11] برای محاسبه خطای استاندارد پارامترهای برآورد استفاده می شود. توطئه های جنگلی و کرت های ROC با استفاده از قابلیت های متا، ggplot2 و بسته های نمودار [12،13،14] پیاده سازی شده اند.
این برنامه همچنین امکان استفاده از یک مدل اثرات تصادفی تک متغیره را ارائه می دهد. اگر چه ادغام جداگانه برای متاآنالیز DTA توصیه نمی شود زیرا نمی تواند همبستگی بین حساسیت و ویژگی را توضیح دهد، ما این گزینه را گنجانده ایم زیرا مدل های تک متغیره، در برخی موارد، نقشی در بررسی DTA دارند. به عنوان مثال، زمانی که تخمین همه پارامترهای یک مدل دو متغیره دشوار است یا زمانی که تمرکز تجزیه و تحلیل تنها بر روی یکی از شاخص‌های دقت (یعنی حساسیت یا ویژگی) است، چنین است [15].
کمی سازی ناهمگنی
Meta-DiSc 2. 0 تجزیه و تحلیل کامل ناهمگونی را پیاده سازی می کند. علاوه بر تخمین واریانس های لجیت حساسیت و ویژگی [16]، نرم افزار یک شاخص دو متغیره I-squared [17]، مساحت بیضی پیش بینی 95% را با استفاده از تابع پلی ناحیه بسته pracma [18] محاسبه می کند، ودر نهایت، نسبت‌های شانس میانه برای حساسیت و ویژگی [16].
بررسی ناهمگونی: تحلیل‌های زیرگروهی و متارگرسیون
از این برنامه می توان برای انجام تجزیه و تحلیل زیرگروهی و متا رگرسیون استفاده کرد. برای این منظور، ستون های اضافی باید در مجموعه داده گنجانده شوند تا متغیرهای کمکی دوگانه (هر بار یکی) تعریف شوند، که برای تقسیم مجموعه داده و به دست آوردن تخمین های دقت برای هر زیرگروه استفاده می شود. کاوش در این نتایج فردی به بازبین بینش هایی در مورد تفاوت بین گروهی در حساسیت و ویژگی و واریانس های بین مطالعه در هر دو شاخص می دهد. گزینه متارگرسیون تخمین های دقت به دست آمده برای این زیر گروه ها (یعنی حساسیت و ویژگی) را مقایسه می کند [19]. مدل دو متغیره شامل شرایط تعامل با حساسیت و ویژگی است و اهمیت آماری این اثرات را با استفاده از بسته lmtest مقایسه می‌کند [20]. برای سادگی، تحلیل متارگرسیون پیاده‌سازی شده در Meta-DiSc 2. 0 فرض می‌کند که واریانس‌های بین مطالعه برابر هستند. بنابراین، نویسندگان باید با مقایسه واریانس‌های بین مطالعه در هر زیرگروه بررسی کنند که این فرض چقدر مناسب است.
نتایج
Meta-DiSc 2. 0 به صورت رایگان از www. metadisc. es در دسترس است. طراحی رابط کاربری بصری و آسان برای استفاده است. پانل جانبی سمت چپ فضای کاری را در چهار منوی اصلی سازماندهی می‌کند: آپلود فایل، توضیحات گرافیکی، متاآنالیز، و خلاصه یافته‌ها. این برنامه همچنین شامل یک ویدیوی راهنمای کاربر کوتاه برای نشان دادن کاربرد عملی برنامه است.
منوی آپلود فایل
برنامه می تواند داده ها را به عنوان کاما مجازات (یعنی CSV) یا پرونده های اکسل (پرونده های . xlsx) وارد کند. این پرونده باید شامل داده های 2 × 2 جدول مطالعات فردی در چهار ستون به نام TP ، FP ، FN ، TN باشد که تعداد مثبت های واقعی ، مثبت کاذب ، منفی کاذب و منفی های واقعی را نشان می دهد. این پرونده همچنین باید برای هر مطالعه (شناسه) یک شناسه منحصر به فرد باشد. همچنین ممکن است ستون های اضافی را شامل شود که به عنوان متغیرهای متغیر برای کشف منابع تنوع بین مطالعه در نظر گرفته می شوند (شکل 1). انجیر. 2 ، 3 ، 4 و 5 صفحه نمایش برنامه های مختلف را برای تجزیه و تحلیل یک بررسی منظم تشخیصی منتشر شده در غربالگری پالس اکسی متری برای یک مجموعه داده نقص قلب مادرزادی مهم نشان می دهد [21].
منوی آپلود فایل
تجزیه و تحلیل دو متغیره از جمله آمار خلاصه (A) ، ضرایب مدل (B) و اقدامات ناهمگونی (C) (منوی متاآنالیز)
منحنی های SROC در تجزیه و تحلیل زیر گروه (منوی متاآنالیز)
نتایج متارگر (منوی متاآنالیز)
خلاصه منوی یافته ها
منوی توضیحات گرافیکی
این برنامه توطئه های جنگلی از حساسیت و ویژگی مطالعات فردی را برای ارزیابی ناهمگونی به صورت گرافیکی ایجاد می کند. مطالعات در مورد توطئه های جنگلی به همان روشی که در پرونده بارگذاری شده تعریف شده است سفارش داده می شود. طرح ROC نشان دهنده حساسیت و ویژگی فردی است و گزینه اضافه کردن میله های خطا را به عنوان خطوط افقی یا عمودی ارائه می دهد. این توضیحات گرافیکی را می توان توسط زیر گروههای تعریف شده توسط متغیرهای متغیر موجود در پرونده ارائه داد. همه ارقام قابل بارگیری As. png و. svg هستند.
منوی متاآنالیز
همه تجزیه و تحلیل ها از منوی متاآنالیز بدست می آیند. اولین گزینه این منو متناسب با مدل دو متغیره حساسیت و ویژگی است. نتایج در زبانه های مربوطه نشان داده شده است: i) آمار ، ii) منحنی SROC ، III) تجزیه و تحلیل زیر گروه ، و IV) تجزیه و تحلیل حساسیت.
در برگه آمار ، کاربران برآوردهای دقت تلفیقی (حساسیت و ویژگی ، نسبت احتمال مثبت و منفی ، نسبت شانس تشخیصی و میزان کاذب مثبت) را به همراه CI مربوط به 95 ٪ (شکل 2A) پیدا می کنند. علاوه بر این ، برنامه تخمین پارامترهای مدل (حساسیت به ورود ، ویژگی ورود به سیستم ، خطاهای استاندارد ، واریانس ورود به سیستم ، کواریانس و همبستگی) را ارائه می دهد ، که می تواند به راحتی به سیستم مدیر بررسی کوکران منتقل شود (Revman [22]) (شکل 2B). سرانجام ، برنامه آمار ناهمگونی را نشان می دهد ، از جمله واریانس حساسیت و ویژگی های مربوط به ورود به همراه نسبت های معمولی مربوطه (MOR) [16] ، مربع دو متغیره [17] ، و مساحت 95 ٪ بیضوی پیش بینی [16] (16] (16]شکل 2C).
پس از تجسم این نتایج عددی ، کاربران می توانند با انتقال به برگه بعدی به نام SROC CURVE (شکل 3) نتایج خلاصه گرافیکی را بدست آورند ، جایی که گرافیک هواپیمای ROC می تواند تجسم و بارگیری شود. گزینه های مختلف نمایش می توانند انتخاب یا حذف شوند ، به عنوان مثال ، خلاصه نقطه ، بیضی های اعتماد به نفس و پیش بینی ، منحنی خلاصه ROC و نتایج مطالعه فردی.
برگه تجزیه و تحلیل زیر گروه متناسب با یک مدل دو متغیره جدید ، از جمله پارامترهای اضافی برای ارزیابی اینکه آیا حساسیت و ویژگی بین زیر گروه ها متفاوت است. پس از نشان دادن ضرایب مدل تخمین زده شده ، می توان با استفاده از برگه متا رگرسیون ، مقایسه رسمی بین زیر گروه ها انجام شد. برنامه حساسیت و ویژگی نسبی را به همراه فواصل اطمینان 95 ٪ (LCI و UCI) و مقادیر P از تست های نسبت احتمال برای مقایسه زیر گروه های تشکیل شده با توجه به همبستگی انتخاب شده نشان می دهد (شکل 4).
از یک برگه تجزیه و تحلیل حساسیت نهایی می توان برای محدود کردن تجزیه و تحلیل به مطالعات خاص خاص ، با انتخاب سطح متغیر ساختگی که به عنوان معیار ورود از منوی کشویی استفاده می شود ، استفاده کرد.
اگر دو تجزیه و تحلیل تک متغیره مستقل از حساسیت و ویژگی انتخاب شوند ، نتایج هر دو مدل جلوه های تصادفی در یک سری از صفحه نمایش نشان داده می شود که برآوردهای جمع شده ، آمار ناهمگونی و توطئه های جنگلی را نشان می دهد.
خلاصه منوی یافته ها
برای توصیف تأثیر مطلق یک آزمایش تشخیصی در یک جمعیت با شیوع معین و رفع اندازه نمونه فرضی ، برنامه تعداد نتایج آزمون کاذب مثبت و کاذب منفی را مشاهده می کند [23]. کاربران می توانند رقمی را که نتایج (TP ، FP ، FN ، TN) به دست آمده را نشان می دهد (شکل 5).
به عنوان یک مثال کار شده، ما از مجموعه داده‌ای استفاده کرده‌ایم که مربوط به یک مرور سیستماتیک است که دقت تشخیصی پالس اکسیمتری را به عنوان یک روش غربالگری برای تشخیص نقایص مادرزادی قلب (CCHD) در نوزادان بدون علامت ارزیابی می‌کند [21]. متاآنالیز منتشر شده شامل نوزده مطالعه بود و با استفاده از ماکرو METADAS برای SAS انجام شد که از Proc NLMIXED استفاده می‌کرد [24]. برای ارزیابی منابع بالقوه ناهمگونی، تحلیل‌های زیرگروهی و متارگرسیون را انجام دادیم. حساسیت کلی پالس اکسیمتری برای تشخیص CCHD 76. 3٪ (95٪ فاصله اطمینان (CI): 69. 5 تا 82. 0) بود، در حالی که ویژگی 99. 9٪ بود (95٪ فاصله اطمینان (CI): 99. 7 تا 99. 9). ما تنوع کل بین مطالعه را در حساسیت و ویژگی از طریق واریانس اثرات تصادفی برای لاجیت (حساسیت) و لاجیت (ویژگی) و کوواریانس آنها اندازه‌گیری کردیم. ما همچنین 95٪ اطمینان و بیضی های پیش بینی را ارائه کردیم.
ما تجزیه و تحلیل منتشر شده را با استفاده از Meta-DiSc 2. 0 تکرار کردیم، و توصیف ناهمگنی را گسترش دادیم تا شامل مساحت بیضی پیش بینی 95 درصد [16]، نسبت شانس متوسط برای حساسیت و ویژگی [16] و دو متغیره I2 [17] شود (شکل 2C)). ما همچنین تجزیه و تحلیل زیر گروه را برای متغیرهای "آزمون زمان بندی" (در 24 ساعت پس از تولد در مقابل 24 ساعت پس از تولد) تکرار کردیم (شکل 3). برآوردهای خلاصه از حساسیت و ویژگی مطالعاتی که غربالگری را پس از 24 ساعت انجام دادند، 73. 6٪ (95٪ فاصله اطمینان (CI): 62. 8 تا 82. 1) و 99. 9٪ (95٪ فاصله اطمینان (CI): 99. 9 تا 100) بود. برای مطالعاتی که غربالگری را در 24 ساعت انجام دادند، برآوردهای خلاصه حساسیت و ویژگی 79. 5٪ (95٪ فاصله اطمینان (CI): 70. 0 تا 86. 6) و 99. 6٪ (95٪ CI 99. 1 تا 99. 8) بود. هنگامی که پالس اکسیمتری نوزادان بیش از 24 ساعت پس از تولد انجام شد، ویژگی نسبی برای تشخیص CCHD به طور قابل توجهی بالاتر بود (شکل 4). اعتبار سنجی آنالیزها با استفاده از Meta-DiSc 2. 0 همان نتایجی را به دست آورد که با ماکرو METADAS به دست آمد [24]. مقایسه نتایج عددی به‌دست‌آمده با Meta-DiSc 2. 0 و نتایج به‌دست‌آمده با نرم‌افزارهای دیگر (METADAS در SAS [24]، METANDI در Stata [25] و MetaDTA [26]) در جدول 1 نشان داده شده است. ما بیشتربرنامه، تکرار تجزیه و تحلیل چهار مرور سیستماتیک منتشر شده در ادبیات [27،28،29،30] (جدول 1).
جدول 1 نتایج متانالیز با استفاده از نرم افزارهای آماری Meta-DiSc 2. 0، METANDI (STATA)، METADAS (SAS) و MetaDTA
بحث
هدف ما به روزرسانی نسخه قبلی نرم افزار metadisc [9] بود. پس از این بروزرسانی ، ما اطمینان داریم که Metadisc 2. 0 می تواند در لیگ نرم افزار متاآنالیز DTA موجود باشد. این برنامه روال اصلی استاندارد را برای متاآنالیز دقت تشخیصی متحد می کند و از انتخاب داوران در بین انواع بسته های R موجود برای این منظور جلوگیری می کند ، زیرا همه آنها روشهای پیشنهادی در حال حاضر برای متاآنالیز DTA ندارند. علاوه بر این ، داوران جدید با استفاده از Metadisc 2. 0 به خوبی می توانند از منحنی یادگیری تند مرتبط با استفاده از R. جلوگیری کنند. یکی دیگر از برنامه های وب براق ، Metadta [26] ، که توسط موسسه ملی تحقیقات بهداشتی انگلستان (NIHR) در سال 2019 ساخته شده است ،برای انجام متاآنالیزهای DTA در دسترس است. Meta-DISC 2. 0 به دلیل ظرفیت خود در انجام تجزیه و تحلیل متا رگرسیون و محاسبه اقدامات اضافی برای تعیین کمیت ناهمگونی ، از نرم افزار Metadta مزیت دارد.
این برنامه محدودیت های مختلفی دارد. تجزیه و تحلیل متا رگرسیون اجرا شده بر اساس فرض واریانس های برابر برای اثرات تصادفی حساسیت های ورود به سیستم و ویژگی های ورود به زیر گروه های مقایسه شده است. این فرض ممکن است در بسیاری از شرایط منطقی باشد ، اگرچه ممکن است در برخی از بررسی ها نباشد. شایان ذکر است که آمار مربع I-S-Squariate به اندازه نمونه بستگی دارد. به همین دلیل ، مقایسه مقادیر مربع I در بین متاآنالیزها با تعداد متفاوتی از مطالعات و تعداد متفاوتی از شرکت کنندگان بیمار و غیرقانونی محدود است.
برنامه امکان مقایسه دقت دو آزمایش تشخیصی را ندارد و نسخه فعلی خطر ارزیابی تعصب را با استفاده از ابزار Quadas-2 شامل نمی کند [31].
توسعه این برنامه وب توسط واحد زیست شناسی بالینی موسسه تحقیقات Ramón y Cajal (IRYCIS) هدایت شد ، واحدی که تجربه گسترده ای در تحقیقات سنتز آزمایش تشخیصی دارد که بر حمایت از تصمیم گیری آگاهانه در منطقه مراقبت های بهداشتی متمرکز شده است. این یک پروژه مشارکتی برای انتقال دانش بین Irycis و دانشگاه Complutense مادرید است و توسط یک پروژه درونی تأمین شده توسط موسسه تحقیقات Ramón y Cajal ("بررسی های تشخیصی سریع برای تصمیم گیری در مراقبت های بهداشتی: تجزیه و تحلیل نکات مهم و توسعه نرم افزار پشتیبانی می شود."، 2018). این پروژه همچنین توسط موسسه "PI19/00481" (با همکاری صندوق توسعه منطقه ای اروپا/صندوق اجتماعی اروپا ؛ "راهی برای ساختن اروپا"/"سرمایه گذاری در آینده شما" تأمین شده است. مرکز شبکه های تحقیقاتی زیست پزشکی در اپیدمیولوژی و بهداشت عمومی (Ciberesp) اشتراک را در بستر shinyapps. io که در آن برنامه میزبان است ، تأمین می کند.
نتیجه
ما یک نسخه به روز شده از متا دیسک را برای انجام دقت تست تشخیصی متاآنالیز تهیه کردیم. تمام الگوریتم های محاسباتی با مقایسه ابزارهای مختلف آماری و متاآنالیزهای منتشر شده تأیید شده اند.
