בתנועת עכבר: הטכניון מפתח שליטה בתנועה בסרטוני בינה מלאכותית

חוקרים בפקולטה למדעי המחשב על שם הנרי ומרילין טאוב בטכניון פיתחו שיטה בשם Time to Move, או TTM, שמאפשרת לשלוט בתנועה בסרטונים שנוצרים בבינה מלאכותית באמצעות עכבר. גוררים עצם על המסך, והסרטון נוצר כך שהעצם נע בהתאם. במקום לכתוב הוראות בטקסט ולקוות שהמודל יבין, המשתמש מראה במו ידיו את המסלול.

את המחקר הוביל ד״ר אור ליטני, יחד עם פרופ׳ רון קימל ועם הסטודנטים אסף זינגר, נעם רוטשטיין ועמיר מן. ליטני הצטרף לטכניון ב 2023 כמרצה בכיר, אחרי שנבחר למלגאי עזריאלי וטאוב, ועם ניסיון בשתי עמיתויות פוסט דוקטורט, בסטנפורד ובמרכז FAIR של מטא. הצוות הציג את העבודה בכנס ICLR 2026 שנערך בברזיל, אחד מכנסי הלמידה העמוקה והבינה המלאכותית המובילים בעולם.

לדברי ליטני, TTM פותרת את אחת המגבלות המרכזיות של יצירת וידאו בבינה מלאכותית: הקושי לשלוט בדיוק בתנועה של עצמים ושל דמויות לאורך זמן. החידוש המרכזי נקרא ״ניקוי רעשים בשני שעונים״, שיטה יעילה לעדן את התנועה תוך איזון בין כוונת המשתמש לתנועה שנראית טבעית. בניגוד לגישות קודמות, שמצריכות התאמה לכל מודל ומשאבי מחשוב גדולים, אין כאן עלות חישובית נוספת, ואין צורך לאמן את המודל מחדש.

לפי הטכניון, ניסויים שערך ליטני הראו ש TTM משתווה לשיטות מבוססות אימון ואף עוקפת אותן בדיוק התנועה ובמידת הריאליזם. אפשר לעשות איתה גם דברים ששיטות מאומנות קודמות לא מציעות: לערוך את מראה העצם ולהוסיף עצמים חדשים לסצנה. הצוות הדגים אותה על כמה מודלים, ובהם WAN ו CogVideoX.

ליטני מדגיש נקודה רחבה יותר: השיטה עוזרת לדמוקרטיזציה של יצירת וידאו בבינה מלאכותית, בכך שהיא מרחיבה את הגישה מעבר לחברות הענק כמו גוגל ומטא. זה עדיין מחקר, אבל הכיוון ברור: אדם שמכוון בקלות את מה שהמכונה יוצרת.