מחקר וידע · ChatGPT, Claude, Gemini
ספריית אוניברסיטת וירג'יניה בדקה 4 צ'טבוטים על כתבי יד ישנים: Gemini ראשון, Copilot אחרון
עשרות עובדים בספריית אוניברסיטת וירג'יניה צילמו 15 מסמכים מהאוסף המיוחד, מכתבים, פנקסים, מפות וטקסטים בספרדית ובערבית, וביקשו מ-ChatGPT, Claude, Gemini ו-Copilot לתמלל, לתרגם ולהסביר אותם.
מה יצא
לפי הספרייה, Gemini קיבל את הציון הגבוה כמעט אצל כל המשתתפים, אחריו ChatGPT ואחריו Claude. Copilot קיבל ציון נמוך בכל הקבוצות. בפנקסים של משמר העיר ריצ'מונד הוא כתב שמות לא נכונים, ואחת הקבוצות כתבה שהוא "hallucinating" עמודים. לא פורסמו אחוזי דיוק.
מה קרה
הבדיקה נערכה בינואר 2026, בקבוצות של 4 עובדים. המסמכים מכסים 600 שנה: מכתבים בכתב יד, פנקסי חשבונות, מסמכים שנכתבו לרוחב ולאורך באותו דף, ומפות שצוירו ביד. כל קבוצה צילמה מסמך, העלתה אותו לכל אחד מ-4 הכלים, וביקשה תמלול, תרגום והקשר היסטורי. המשתתפים כיבו את האפשרות שהשיחות ישמשו לאימון המודלים. את התוצאות הם דירגו לפי מחוון קבוע: דיוק התמלול, התרגום, העיצוב וההקשר.
מה לקחת מזה
לפני שבוחרים כלי לתמלול מסמכים, בודקים כמה כלים על אותם מסמכים, עם מחוון אחד, ומשווים לקריאה של אדם. כלי שמקבלים בחינם דרך העבודה הוא לא בהכרח המדויק ביותר.
הפרומפט, מוכן להעתקה
וואטסאפ (נפתח בחלון חדש)תמלל את המסמך המצורף מילה במילה, ושמור על חלוקת השורות.
מילה שאתה לא מצליח לקרוא: כתוב [לא קריא] ואל תנחש.
אחרי התמלול כתוב תרגום לעברית, ובנפרד 3 משפטים על ההקשר, וסמן מה מתוכם לא כתוב במסמך עצמו.
מה שבסוגריים מרובעים מחליפים בפרטים שלכם.