כשהבוט כותב את הקוד, המרצה בודק אם אתה מבין אותו

באוניברסיטת בר-אילן זיהו את הבעיה כבר לפני שנתיים: הבדיקות האוטומטיות בקורס מערכות הפעלה החזירו ציונים מושלמים כמעט לכל הסטודנטים, אבל אף אחד לא האמין שהם באמת מבינים את מה שהגישו. הפתרון שפיתחו שם לא מנסה לחסום שימוש בכלי AI, הוא פשוט מוודא שהסטודנט יודע להסביר מה הקוד עושה ולמה.

המערכת שפותחה בשלושה שבועות

פרופ' דוד סרנה, חבר סגל במחלקה למדעי המחשב ובינה מלאכותית, מספר שהמערכת נבנתה בתוך שלושה שבועות בעזרת Claude Code. מאחורי הפיתוח עומדים גם שחר שגיא, המתרגל שהוביל את המימוש בפועל, וד"ר יוסי בן ציון, מומחה לטכנולוגיות למידה, שליווה את התכנון וההטמעה. כ-260 סטודנטים כבר נבחנו בפיילוט בסמסטר האחרון.

איך נראית בחינה של 16 דקות

הסטודנט מגיע לחדר ייעודי, מתיישב מול עמדה נעולה (kiosk mode) שלא מאפשרת מעבר לחלונות אחרים, והמערכת מושכת אוטומטית את הקוד שהגיש. המסך מתפצל: בצד אחד הקוד, בצד השני שיחה עם בוחן AI. במהלך כ-16 דקות נשאלות בדרך כלל שלוש שאלות, ובכל פעם מודגשות השורות הרלוונטיות בקוד. השאלות לא מוכנות מראש, המתרגל מגדיר נושאים ורמת ידע מצופה, והמערכת מייצרת עשרות תבניות שהמתרגל מאשר; רק כשהתבנית פוגשת קוד של סטודנט ספציפי היא הופכת לשאלה אישית.

ציון שמבוסס על הבנה, לא רק על פלט נכון

רבע מהציון ניתן על איכות הקוד עצמו, ושלושה רבעים על מידת ההבנה והשליטה שהפגין הסטודנט בשיחה. שלושה סוכני AI מעורבים בהערכה: אחד בוחן את הקוד בלי לראות את הבחינה, שני קורא את השיחה בלי לראות את הקוד, ושלישי משקלל את הממצאים. בסיום הסטודנט מקבל מייל עם ציון, פירוט תשובות והמלצות לנושאים לחזרה. מי שנכשל יכול לגשת למועד נוסף עם שאלות חדשות.

מהתנגדות להכרה שזה עובד

הסטודנטים התנגדו בהתחלה, דביר, אחד הנבחנים, מתאר לחץ בבחינה הראשונה, אבל ההכנה המשותפת אילצה אותם לעבור על הקוד לעומק. "בדיעבד, עצם ההכנה הזו גרמה לנו להבין את החומר הרבה יותר טוב", הוא אומר. הבחינה עצמה הרגישה פחות כמו מבחן ויותר כמו הסבר לחבר, והמערכת השתפרה לאורך הסמסטר בטיפול בתקלות ובהערכת תשובות. בבר-אילן מתכננים כעת להרחיב את המודל גם לקורסים במתמטיקה.