מיקרוסופט השיקה כלי לזיהוי תמונות שמנסה לתאר את תוכן התמונה. כלי זה לבינה מלאכותית עדיין נמצא בשלב הפיתוח ולומד כל העת מתמונות שהועלו על ידי המשתמשים.

בכל הקשור לדיוק, לפעמים התיאור מדויק למדי ולעיתים CaptionBot מציע תיאורים שאין להם שום קשר למה שמתואר. ישנם מקרים שבהם האפליקציה אינה יכולה לספק תיאור כלל, בגלל מצבה הגס סביב הקצוות.

מיקרוסופט עיצבה את CaptionBot כדי ללמוד עם ניסיון רב יותר, בציפייה שכיתוביה יהפכו מדויקים עם הזמן. ככל שמשתמשים מעלים יותר תמונות, האפליקציה הופכת טובה יותר, כפי שמתאר את עצמו CaptionBot:

אני יכול להבין את התוכן של כל תמונה ואני אנסה לתאר אותה, כמו גם לכל אדם. אני עדיין לומד אז אני אחזיק בתמונה שלך אך ללא מידע אישי.

CaptionBot משתמש בשלוש טכנולוגיות כדי לתאר את המוצג בתמונה: חזון המחשב, הרגש ותמונת הבינג של מיקרוסופט. ממשק ה- API של מחשב חזון מחלץ מידע עשיר מתמונות כדי לסווג ולעבד נתונים חזותיים לצד זיהוי וחילוץ טקסט מתמונה. ממשק ה- API של הרגש, כשמו כן הוא, מנתח פרצופים כדי לגלות מגוון תחושות, הכל מכעס, בוז, גועל, פחד, אושר, נייטרליות, עצב והפתעה. תמונה של בינג מחפשת תמונות אחר תמונות באינטרנט.

בדקנו את CaptionBot והתוצאות היו מדויקות ב- 50% מהמקרים. לדוגמא, העלינו שתי תמונות: האחת מתארת ​​עכבר משחק, והשנייה ערימה של כרטיס. בשני המקרים, הכלי הציע שמדובר בפלאפון. מצד שני, הכיתוב בוט זיהה בני אדם ובפרצופים במדויק.

כנראה של- CaptionBot יש אובססיה לטלפונים סלולריים. משתמש אחד בטוויטר דיווח כי האפליקציה חשבה שמישל אובמה היא טלפון סלולרי. לקבלת כותרות נוספות של כותרות בוטים, עיין בדף הטוויטר הזה.

אתה יכול גם לבדוק את CaptionBot כאן. נסה זאת: תעזור לכלי להשתפר או שתצחק!