בפרק הזה היה לי העונג לארח את עומר נבו, CTO ומייסד שותף בחברת Irregular. דיברנו על שני נושאים שמרתקים אותי במיוחד: הערכת היכולות המסוכנות של מודלי AI מתקדמים והמרוץ לבניית הגנות סייבר בעולם של סוכנים אוטונומיים.
הזכרנו את שיתופי הפעולה הייחודיים של Irregular עם השחקניות הגדולות בעולם כמו OpenAI, אנטרופיק וגוגל, ועל האופן שבו הם בונים סביבות סימולציה מורכבות כדי להבין איפה המודלים נשברים.
דנו באיום של תקיפות "דיסטילציה" שמטרתן לשכפל מודלים יקרים, וגם על היכולת המדהימה לחזות מראש את מסלול הסיכון של מודל עוד בשלבי הפיתוח שלו. דיברנו גם על הפער שבין אינטרסים עסקיים לבטיחות, ואיך נראה העתיד של הגנת הסייבר בעידן הבינה המלאכותית.
כנס CyberML:
https://machinelearning.co.il/lp-events/cyberml/
