מודלי שפה מנחשים תרופות לפי סיומת השם, לא לפי ידע רפואי אמיתי

הסיומת עושה את העבודה

אנשים מביאים שאלות בריאות ותרופות למודלי שפה בתדירות גוברת, ולעיתים קרובות נוקבים בשם תרופה ספציפי. מחקר חדש מראה שהמודל יכול להישמע בקיא, בלי לדעת כמעט כלום על התרופה עצמה. שמות רבים של תרופות מקודדים את המחלקה הפרמקולוגית שלהן דרך סיומות כמו ־pril, ־olol או ־azoline, ונותנים למודל קיצור דרך: להסיק את התשובה מהשם במקום מעובדות שנלמדו על התרופה.

למה דווקא אולמו 3

קאיג'י מו (Kaijie Mo) מאוניברסיטת טקסס באוסטין, יחד עם חוקרים מאוניברסיטת נורת'איסטרן וממרכז הסרטן MD Anderson, הובילה את המחקר. הצוות בחר ב-Olmo 3 7B Instruct כי הניתוח דרש מודל פתוח לחלוטין, משקולות ציבוריות, קורפוס אימון גלוי, תיעוד מהפרה־אימון דרך הפוסט־אימון, ונקודות ביניים משוחררות. "הפתיחות אפשרה לקשר בין התנהגות, מנגנון ונתוני אימון", מסבירה מו. הקורפוס של אולמו כולל תוכן רפואי משמעותי, מה שהפך אותו מתאים במיוחד לבדיקה הזו.

אבחנה שמפרידה בין מורפולוגיה לידע

החוקרים בנו כלי אבחנה שמבודד שלושה מקורות אפשריים לתשובה: הסיומת (הסוף המשותף כמו ־pril), הבסיס (החלק הייחודי לכל תרופה), וידע אמיתי על תרופה ספציפית. הם החליפו את הבסיס, את הסיומת, או את שניהם במחרוזות חסרות משמעות ("nonce") ומדדו איך התשובות משתנות. השיטה מאפשרת לראות מתי המודל נשען על דפוס שמי ומתי הוא שולף עובדה של ממש.

המספרים: רוב התרופות, בלי ידע ספציפי

בפורמט ההערכה הרלוונטי, כ-12%-18% מהתרופות נראו מונעות־סיומת. אבל הנתון הבולט יותר: 51%-59% מהתרופות לא הראו סימן ממשי לידע ספציפי, התשובה לשם אמיתי הייתה כמעט זהה לתשובה לשם מומצא. חיפוש בקורפוס האימון הפתוח באמצעות infini-gram, מנוע לחיפוש ביטויים מדויק בקנה מידה גדול, הראה שככל שתרופה נדירה יותר בנתוני האימון, כך התשובות שלה נשענות יותר על הסיומת ופחות על ידע קונקרטי.

כשהכללה מחליפה ידע ספציפי

ההסתמכות על סיומות אינה בעיה כשלעצמה, סיומות תרופות אכן מקודדות מידע פרמקולוגי אמיתי. הבעיה מתעוררת כשהכללה שימושית מחליפה ידע על התרופה המסוימת. עבור מו, הערך של אולמו 3 ושל infini-gram טמון ביכולת לקשר פלטים של המודל לסיבה הסבירה שלהם. "בתחומים בעלי סיכון גבוה כמו רפואה, ביקורת על הפלטים לבדה לרוב לא מספיקה", היא אומרת. "גישה לקרביים של המודל מאפשרת אבחון קפדני יותר, תיקוף, ובסופו של דבר מערכות מהימנות יותר."