تتعلم النماذج الحدودية في الغالب من بيانات الإنترنت العامة. ومع ذلك، نادرًا ما يظهر التصوير العصبي السريري هناك، لأن التصوير بالرنين المغناطيسي والتصوير المقطعي المحوسب يحتوي على ملامح وجه يمكن تحديدها. وبالتالي، فإن أداء النماذج العامة ضعيف في مهام تصوير الدماغ. يعالج فريق بحث من جامعة ميشيغان هذه الفجوة من خلال نيوروففم، نشرت في مجلة طب الطبيعة.
ما هو NeuroVFM؟
يعد NeuroVFM في جوهره نموذجًا أساسيًا بصريًا عامًا للتصوير العصبي. وعلى وجه التحديد، تم تدريبه على 5.24 مليون مجلد من أجهزة التصوير بالرنين المغناطيسي والتصوير المقطعي المحوسب. جاءت هذه من 566,915 دراسة في مجموعة بيانات UM-NeuroImages. تمتد هذه البيانات على مدى عقدين من الرعاية الروتينية في مستشفى ميشيغان للطب.
يطلق فريق البحث على نهجهم اسم “تعلم النظام الصحي”. باختصار، يتعلم النموذج من البيانات غير المنسقة التي يتم إنشاؤها أثناء العمليات السريرية العادية. ولذلك، فإنه يتجنب عنق الزجاجة في تقارير الأشعة المقترنة. كما أنه يتجنب المعالجة الخاصة بالمرض المستخدمة في المصنفات الضيقة.
والجدير بالذكر أن النموذج الأساسي يسمى Vol-JEPA. فهو يوسع طرق I-JEPA وV-JEPA السابقة لتشمل الصور الطبية الحجمية. ويعكس هذا اتجاهًا أوسع: حيث يتوسع التعلم بأسلوب JEPA ليشمل التصوير الطبي.
كيف يعمل Vol-JEPA؟
Vol-JEPA هي خوارزمية ذاتية الإشراف وذات رؤية فقط. وبدلاً من إعادة بناء وحدات البكسل، فإنه يتنبأ بالتمثيلات في الفضاء الكامن المكتسب. ونتيجة لذلك، فهو لا يحتاج إلى تسميات، ولا نص تقرير، ولا وحدة فك ترميز فوكسل.
أولاً، يتم ترميز كل وحدة تخزين ثلاثية الأبعاد إلى تصحيحات غير متداخلة بحجم 4×16×16 فوكسل. بعد ذلك، يتم تقسيم المجلد إلى سياق مرئي صغير وهدف مقنع أكبر. يقوم برنامج تشفير الطالب بعد ذلك بمعالجة تصحيحات السياق.
وفي الوقت نفسه، يجمع المتنبئ بين السياق الكامن وترميزات الموضع المستهدف. ويتنبأ بالكامنة في المنطقة المقنعة. يقوم برنامج تشفير المعلم بإنشاء الهدف الكامن لحقيقة الأرض. هذا المعلم هو المتوسط المتحرك الأسي (EMA) للطالب. يقلل التدريب من خسارة اللغة الأولى السلسة بين المعلمات الكامنة والمتوقعة، مع إيقاف التدرجات من خلال المعلم.
الأهم من ذلك، أن الإخفاء يركز على المقدمة، باستخدام أقنعة الرأس المحوسبة مسبقًا. نسب السياق هي 25% للتصوير بالرنين المغناطيسي و20% للتصوير المقطعي، مع 20% تسرب التصحيح. يشجع هذا التصميم المشفر على تصميم نموذج للتشريح العصبي المشترك بدلاً من اختصارات الخلفية.
أداء
لقياس ذلك، قام فريق البحث بتجميد كل جهاز تشفير وقام بتدريب مجسات متطابقة على مستوى الدراسة. وكانت نقطة النهاية الأساسية هي AUROC ذات المتوسط الكلي عبر 156 مهمة تشخيصية. وتغطي هذه 74 تشخيصًا بالتصوير بالرنين المغناطيسي و82 تصويرًا مقطعيًا.
ونتيجة لذلك، وصل NeuroVFM إلى 92.68 AUROC على التصوير المقطعي و92.49 على التصوير بالرنين المغناطيسي. علاوة على ذلك، فقد تفوق في الأداء على كل خط أساس في نقطة النهاية الإجمالية.
| نموذج | بيانات ما قبل التدريب | هدف التعلم | هامش AUROC مقابل NeuroVFM |
|---|---|---|---|
| نيوروففم | UM-NeuroImages (النظام الصحي) | التنبؤ الكامن Vol-JEPA | — (92.68 ط م / 92.49 تصوير بالرنين المغناطيسي) |
| HLIP | UM-NeuroImages | تقرير/الإشراف اللغوي | -0.98 |
| بريما | UM-NeuroImages (التصوير بالرنين المغناطيسي فقط) | تقرير/الإشراف اللغوي | -3.87 |
| نيوروماي | UM-NeuroImages | إعادة بناء فوكسل (MAE) | -1.55 |
| دينوv3 | 1.7B الصور الطبيعية | الإشراف الذاتي (2D) | -2.24 |
| بيوميدCLIP | 15 مليون زوج من الصور والنص | الرؤية – اللغة (2D) | -2.88 |
نظرًا لأن PRIMA وHLIP وNeuroMAE يتشاركون في نفس بيانات التدريب، فإن هذه الفجوات تعزل الهدف. وبعبارة أخرى، تفوق التنبؤ الكامن على كل من الإشراف على التقرير وإعادة بناء فوكسل هنا.
كما تم الإبلاغ عن كفاءة التدريب. على سبيل المثال، استخدم تشغيل Vol-JEPA الكامل أقل من 1000 ساعة GPU. لقد تدرب أسرع بـ 7 مرات من خط الأساس 3DINO. كما أنها تناسب دفعات أكبر بمقدار 16× بذاكرة متساوية. يحتوي جهاز التشفير الأساسي على 85.8 مليون معلمة؛ البديل الصغير لديه 21.7 مليونًا.
ما يتيحه النموذج؟
بالإضافة إلى التشخيص، يدعم NeuroVFM العديد من المهام النهائية. يعيد كل واحد استخدام نفس الرموز المرئية المجمدة.
- توليد التقرير: قام الفريق بدمج NeuroVFM المجمد مع Qwen3-14B بأسلوب LLaVA-1.5. أنشأ نظام NeuroVFM-LLaVA نتائج رئيسية منظمة.
- الفرز: أنتجت النتائج التي تم تمريرها إلى نموذج الاستدلال مستويات حدة: غير ملحوظة، أو روتينية، أو عاجلة.
- توقعات ارضية: يقوم مُجمّع MIL القائم على الاهتمام بتعيين النتائج لمناطق الصورة، دون التعليقات التوضيحية على مستوى المنطقة.
- النقل عبر الوسائط.: تم تشغيل مسبار مُدرب بالأشعة المقطعية على التصوير بالرنين المغناطيسي مع انخفاض AUROC أقل من 5 نقاط.
فيما يتعلق بالتوليد والفرز، تفوق أداء NeuroVFM-LLaVA على خطوط الأساس الحدودية.
| متري | نيوروففم-LLaVA | جي بي تي-5 | كلود سونيت 4.5 |
|---|---|---|---|
| دقة حدة ثلاثية المستويات | أفضل | -11.0 | -20.3 |
| دقة متوازنة محتملة | 92.6% | 71.2% | — |
| معدل تفويت النتائج الحرجة | 13.5% (21/155) | 50.3% (78/155) | — |
| تقرير تكلفة الاستدلال | خط الأساس | > 24 × أعلى | — |
علاوة على ذلك، أجرى فريق البحث دراسة استطلاعية صامتة لمدة أسبوع واحد عبر النظام الصحي (العدد = 1,155). هناك، وصلت دقة الفرز المتوازنة لـ NeuroVFM إلى 92.6% مقابل 71.2% لـ GPT-5. ومع ذلك، كانت حساسيته 86.5%، لذلك تم تفويت 21 من أصل 155 نتيجة حاسمة. لذلك، قام المؤلفون بتأطيرها على أنها دعم القرار، وليس الفحص المستقل.
تشغيل NeuroVFM
من الناحية العملية، يعد استخدام المكدس الذي تم إصداره أمرًا بسيطًا. تقوم بتثبيت الحزمة، ثم تقوم باستدعاء مساعدي خط الأنابيب. يستخدم المقتطف أدناه واجهة برمجة التطبيقات الخاصة بالمستودع.
# git clone https://github.com/MLNeurosurg/neurovfm.git && cd neurovfm && pip install -e .
from neurovfm.pipelines import (
load_encoder, load_diagnostic_head, load_vlm, interpret_findings,
)
encoder, preprocessor = load_encoder("mlinslab/neurovfm-encoder")
dx_head = load_diagnostic_head("mlinslab/neurovfm-dx-ct")
generator, gen_preproc = load_vlm("mlinslab/neurovfm-llm")
# Encode a study, then predict diagnoses
batch = preprocessor.load_study("/path/to/ct/study/", modality="ct")
embeddings = encoder.embed(batch) # [N_tokens, 768]
predictions = dx_head.predict(embeddings, batch) # [(label, prob, pred), ...]
# Generate preliminary findings, then optionally triage
vols = gen_preproc.load_study("/path/to/ct/study/", modality="ct")
findings = generator.generate(vols, clinical_context="LOC and nausea.")
triage = interpret_findings(findings, "LOC and nausea.", api_key="...")لاحظ أن المكدس يتطلب FlashAttention-2 (الإصدار 2.6.3) المبني من المصدر. يتم شحن الكود بموجب ترخيص MIT. تستخدم الأوزان CC-BY-NC-SA-4.0، ويتطلب بعضها موافقة الوصول عبر البريد الإلكتروني المؤسسي.
نقاط القوة والقيود
تشير الورقة البحثية مجتمعة إلى المزايا إلى جانب القيود. وكلاهما يرتكز على تقييماته الخاصة.
نقاط القوة
- يتعلم من عمليات المسح غير المنسقة، دون الإشراف على التقارير أو الملصقات.
- يشترك في مساحة كامنة واحدة عبر التصوير المقطعي والتصوير بالرنين المغناطيسي.
- تم الإبلاغ عن أن إنتاج التقارير أرخص بنسبة >24× وأقل كثافة من الكربون بنسبة >23× من GPT-5.
- يتم الحفاظ على الأداء عبر الشركات المصنعة ونقاط القوة الميدانية والمجموعات الفرعية الديموغرافية.
القيود
- حساسية الفرز بنسبة 86.5% تعني بقاء الأخطاء الحقيقية في الاكتشافات المهمة.
- الأوزان غير تجارية، والنموذج غير معتمد من إدارة الغذاء والدواء.
- النموذج عرضة لمجموعة البيانات والهندسة المعمارية والتحيز الموضوعي.
- النتائج تأتي من نظام صحي أكاديمي واحد.
تحقق من ورق و الريبو. أيضا، لا تتردد في متابعتنا على تغريد ولا تنسى الانضمام إلينا 150 ألف + مل والاشتراك في النشرة الإخبارية لدينا. انتظر! هل أنت على برقية؟ الآن يمكنك الانضمام إلينا على التليجرام أيضًا.
هل تحتاج إلى الشراكة معنا للترويج لصفحة GitHub Repo أو صفحة الوجه المعانقة أو إصدار المنتج أو الندوة عبر الويب وما إلى ذلك؟ تواصل معنا
اكتشاف المزيد من كحيل | أخبار التقنية
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.
