Look for any podcast host, guest or anyone
Showing episodes and shows of

Tamir Nave & Uri Goren

Shows

ExplAInableExplAInablePredictive mean matching and imputation - השלמת ערכים חסרים איטרטיביתערכים חסרים הם נחלתו של כל מי שעוסק בעיבוד מידע טבלאי, הפעם נתמקד בהשלמת ערכים רציפים עם Predictive mean matching. אחת השיטות הנפוצות MICE, לא היתה זמינה עד לאחרונה למשתמש פייתון - וכעת נמצאת במודול הexperimental של scikit learn. נעשה סקירה קצרה על מתי כדאי להשלים ערכים חסרים ומתי לא, ונדבר על השיטות הנפוצות להשלמה.2024-06-1408 minExplAInableExplAInablePredictive mean matching and imputation - השלמת ערכים חסרים איטרטיביתערכים חסרים הם נחלתו של כל מי שעוסק בעיבוד מידע טבלאי, הפעם נתמקד בהשלמת ערכים רציפים עם Predictive mean matching. אחת השיטות הנפוצות MICE, לא היתה זמינה עד לאחרונה למשתמש פייתון - וכעת נמצאת במודול הexperimental של scikit learn. נעשה סקירה קצרה על מתי כדאי להשלים ערכים חסרים ומתי לא, ונדבר על השיטות הנפוצות להשלמה.2024-06-1408 minExplAInableExplAInableכאן - Kolmogorov Arnold networkהרבה מאיתנו שמעו בכותרות על KAN פה, KAN שם - ולא היה ברור מה המהומה. Kolmogorov Arnold network זו ארכיטקטורה שמאיימת לשנות את איך שאנחנו חושבים על רשתות נוירונים, החל במבנה של נוירון ועד יכולת ההסבר. בנוסף, לרשתות כאן יש פי עשר פחות פרמטרים והן דלילות יותר - נשמע מדהים. אבל, הפוטנציאל הוא גדול אבל המציאות היא בפרטים הקטנים - אותם נכסה בפרק הזה2024-06-0920 minExplAInableExplAInableכאן - Kolmogorov Arnold networkהרבה מאיתנו שמעו בכותרות על KAN פה, KAN שם - ולא היה ברור מה המהומה. Kolmogorov Arnold network זו ארכיטקטורה שמאיימת לשנות את איך שאנחנו חושבים על רשתות נוירונים, החל במבנה של נוירון ועד יכולת ההסבר. בנוסף, לרשתות כאן יש פי עשר פחות פרמטרים והן דלילות יותר - נשמע מדהים. אבל, הפוטנציאל הוא גדול אבל המציאות היא בפרטים הקטנים - אותם נכסה בפרק הזה2024-06-0920 minExplAInableExplAInableרק לא ראג RAGמי לא שמע על RAG, נראה שכולם מדברים, מממשים ומאפטמים ראגים לכל שימוש. בפרק זה אורי שוטח את משנתו על ראגים, וטוען שהם בשימוש יתר בתעשייה (יש יגידו הייפ), ואלו הן הסיבות 1. אתם אחראיים (משפטית) על הפלט שלהם - אם אין בן אדם בלופ - יש בעיה 2. שאילתות סמנטיות לא מתאימות להמון מקרים, חיפוש וקטורי הוא לא התשובה לretrieval 3. זה נראה כאילו חיפוש וקטורי נועד לחסוך עלויות, אבל האם באמת LLM עדיין כ״כ יקרים שצריך אותו? 4. האם זו בעיית איחזור או בעית שאלה-תשובה? בהרבה מהמקרים פשוט לא צריך LLM בקצה 5. הסיבה ההנדסית - בראג יש שני מודלים שונים, שלא בטוח מדברים זה עם זה, צריך לוודא שיש תרומה הדדית2024-06-0310 minExplAInableExplAInableרק לא ראג RAGמי לא שמע על RAG, נראה שכולם מדברים, מממשים ומאפטמים ראגים לכל שימוש. בפרק זה אורי שוטח את משנתו על ראגים, וטוען שהם בשימוש יתר בתעשייה (יש יגידו הייפ), ואלו הן הסיבות 1. אתם אחראיים (משפטית) על הפלט שלהם - אם אין בן אדם בלופ - יש בעיה 2. שאילתות סמנטיות לא מתאימות להמון מקרים, חיפוש וקטורי הוא לא התשובה לretrieval 3. זה נראה כאילו חיפוש וקטורי נועד לחסוך עלויות, אבל האם באמת LLM עדיין כ״כ יקרים שצריך אותו? 4. האם זו בעיית איחזור או בעית שאלה-תשובה? בהרבה מהמקרים פשוט לא צריך LLM בקצה 5. הסיבה ההנדסית - בראג יש שני מודלים שונים, שלא בטוח מדברים זה עם זה, צריך לוודא שיש תרומה הדדית2024-06-0310 minExplAInableExplAInableחיפוש וקטורי עם מירב גרימברגמירב גרימברג עוסקת למחייתה בפיתוח מנוע החיפוש הוקטורי של רדיס, הגיעה לספר לנו תובנות מבפנים. לאחרונה רואים שיותר ויותר דאטאבייסים ״מסורתיים״ מוסיפים פונקציונאליות של חיפוש וקטורי, רדיס הוא אחד מהם. רדיס, הוא היום שירות ברירת המחדל לחיפוש key-value מהיר בזמן אמת. וגם מנוע חיפוש וקטורי המממש את אלגוריתם הhnsw לחיפוש וקטורי מקורב. מירב תספר לנו על האילוצים מעולם התוכנה כדי לגרום למנוע חיפוש וקטורי לעבוד ממש מהר, יחד עם יכולות פילטור ועדכון. על הטריידוף בין זכרון, מחיר ומהירות - וכמובן על שימושים בretrieval augmented generation יחד עם מודלי שפה.2024-05-2722 minExplAInableExplAInableחיפוש וקטורי עם מירב גרימברגמירב גרימברג עוסקת למחייתה בפיתוח מנוע החיפוש הוקטורי של רדיס, הגיעה לספר לנו תובנות מבפנים. לאחרונה רואים שיותר ויותר דאטאבייסים ״מסורתיים״ מוסיפים פונקציונאליות של חיפוש וקטורי, רדיס הוא אחד מהם. רדיס, הוא היום שירות ברירת המחדל לחיפוש key-value מהיר בזמן אמת. וגם מנוע חיפוש וקטורי המממש את אלגוריתם הhnsw לחיפוש וקטורי מקורב. מירב תספר לנו על האילוצים מעולם התוכנה כדי לגרום למנוע חיפוש וקטורי לעבוד ממש מהר, יחד עם יכולות פילטור ועדכון. על הטריידוף בין זכרון, מחיר ומהירות - וכמובן על שימושים בretrieval augmented generation יחד עם מודלי שפה.2024-05-2722 minExplAInableExplAInableטרנספורמרים וסדרות עיתיות - ש.חעכשיו כשהעולם רועש סביב מודלי שפה גדולים וחזקים שאינם טרנספורמרים (מאמבה, rwkv) - הגיע הזמן להיזכר מה הוא הטרנספורמר ומה היו המוטיבציות ליצירתו. פרק זה הינו שידור חוזר של פרק מ2020, האזנה מרתקת לאזניים של 2024.2024-05-2118 minExplAInableExplAInableטרנספורמרים וסדרות עיתיות - ש.חעכשיו כשהעולם רועש סביב מודלי שפה גדולים וחזקים שאינם טרנספורמרים (מאמבה, rwkv) - הגיע הזמן להיזכר מה הוא הטרנספורמר ומה היו המוטיבציות ליצירתו. פרק זה הינו שידור חוזר של פרק מ2020, האזנה מרתקת לאזניים של 2024.2024-05-2118 minExplAInableExplAInableכישורים רכים למדעני נתונים - עם בוריס גורליקבוריס גורליק, יועץ דאטא מנוסה עם רקע ניכר בדאטא טבלאי, ויזואליזציה וסדרות זמן - ידבר איתנו על דווקא על נושא אחר: Soft skills. מדעני נתונים, הם לא רק אנשים טכניים שיודעים להריץ פייתון ולאפטם מודלים - הכוונה ב״כישורים רכים״ זה לכל יכולת התקשורת בארגון ובצוות, ובעבודה במשותף כחלק מאתגר גדול יותר. נדבר על אתגרים נפוצים בחיי הDS ועל איך נכון לבנות מצגת בצורה לא תשעמם את המאזינים. בוריס הוא גם המנחה של הפודקאסט הפופולארי ״השבוע במזרח התיכון״, שם תוכלו להיווכח איך בוריס מיישם את התאוריה בפועל. קישור לספר שבוריס הזכיר2024-05-1324 minExplAInableExplAInableכישורים רכים למדעני נתונים - עם בוריס גורליקבוריס גורליק, יועץ דאטא מנוסה עם רקע ניכר בדאטא טבלאי, ויזואליזציה וסדרות זמן - ידבר איתנו על דווקא על נושא אחר: Soft skills. מדעני נתונים, הם לא רק אנשים טכניים שיודעים להריץ פייתון ולאפטם מודלים - הכוונה ב״כישורים רכים״ זה לכל יכולת התקשורת בארגון ובצוות, ובעבודה במשותף כחלק מאתגר גדול יותר. נדבר על אתגרים נפוצים בחיי הDS ועל איך נכון לבנות מצגת בצורה לא תשעמם את המאזינים. בוריס הוא גם המנחה של הפודקאסט הפופולארי ״השבוע במזרח התיכון״, שם תוכלו להיווכח איך בוריס מיישם את התאוריה בפועל. קישור לספר שבוריס הזכיר2024-05-1324 minExplAInableExplAInableעל למידה מונחית עצמית עם מייק ארליכסון Self Supervisedבפרק זה אירחנו את מיכאל ארליכסון לדבר על self supervised learning. דיברנו על בעיית דלילות הסיגנל, ועלות התיוג. למידה self supervised מתמקדת בלמידת היצוג הוקטורי על ידי משימות שלא דורשות תיוג. לדוגמא, אם לקחנו תמונה ו הרעשנו אותה (או סיבוב, שיקוף, זום) נצפה שוקטור היצוג יהיה דומה. דיברנו על טכניקות שונות ללמידת יצוגים, כגון רשתות סיאמיות, למידה ניגודית ואוגמנטציות. וכמובן, האתגר הגדול ביותר של התחום - מציאת דוגמאות שליליות חזקות.2024-05-0650 minExplAInableExplAInableעל למידה מונחית עצמית עם מייק ארליכסון Self Supervisedבפרק זה אירחנו את מיכאל ארליכסון לדבר על self supervised learning. דיברנו על בעיית דלילות הסיגנל, ועלות התיוג. למידה self supervised מתמקדת בלמידת היצוג הוקטורי על ידי משימות שלא דורשות תיוג. לדוגמא, אם לקחנו תמונה ו הרעשנו אותה (או סיבוב, שיקוף, זום) נצפה שוקטור היצוג יהיה דומה. דיברנו על טכניקות שונות ללמידת יצוגים, כגון רשתות סיאמיות, למידה ניגודית ואוגמנטציות. וכמובן, האתגר הגדול ביותר של התחום - מציאת דוגמאות שליליות חזקות.2024-05-0650 minExplAInableExplAInableעל פרטיות דיפרנציאלית עם משה שנפלדיש הרבה עיסוק בסכנות הכרוכות בהדלפה של פרטים מזהים בדאטאסטים או בתוך משקולות של מודלים מאומנים. בפרק זה משה שנפלד, חוקר בתחום, יספר לנו כמה זה מורכב להפוך דאטאסט אנונימי ונדבר על כמה פדיחות שקרו בתחום. נדבר על האתגרים של אימון מודלים בצורה פרטית, והאם מדובר בסוג חדש של רגולרזיציה. נכסה אלגוריתמים כמו k-annonimity ונדבר על Differential privacy שהיא הסטנדרט היום בתחום. הרעיון המרכזי בפרטיות דיפרנציאלית הוא הכנסת רעש מבוקר, כזה שיפריע לזהות אינדיבידואלית אבל לא יפריע למודל להתאמן. נדבר על שיטות כמו DP-SGD שמכניסים את הרעיון הזה לתוך צעדי הגרדיאנט באימון רשתות. קישורים: The netflix prize Very recent example from the pentagon How one man’s pay-to-use toilet gag revealed Google Maps can be used to track people Sweeney’s attack   2024-04-2733 minExplAInableExplAInableעל פרטיות דיפרנציאלית עם משה שנפלדיש הרבה עיסוק בסכנות הכרוכות בהדלפה של פרטים מזהים בדאטאסטים או בתוך משקולות של מודלים מאומנים. בפרק זה משה שנפלד, חוקר בתחום, יספר לנו כמה זה מורכב להפוך דאטאסט אנונימי ונדבר על כמה פדיחות שקרו בתחום. נדבר על האתגרים של אימון מודלים בצורה פרטית, והאם מדובר בסוג חדש של רגולרזיציה. נכסה אלגוריתמים כמו k-annonimity ונדבר על Differential privacy שהיא הסטנדרט היום בתחום. הרעיון המרכזי בפרטיות דיפרנציאלית הוא הכנסת רעש מבוקר, כזה שיפריע לזהות אינדיבידואלית אבל לא יפריע למודל להתאמן. נדבר על שיטות כמו DP-SGD שמכניסים את הרעיון הזה לתוך צעדי הגרדיאנט באימון רשתות. קישורים: The netflix prize Very recent example from the pentagon How one man’s pay-to-use toilet gag revealed Google Maps can be used to track people Sweeney’s attack   2024-04-2733 minExplAInableExplAInableאיך ללמד מודל שפה לדבר כמו ערס עם חן מרגלית מ LSportsבפרק זה חן מרגלית סיפר על פיתוח SEC by LSports הבוט שמתמצת ועונה על שאלות על משחקי ספורט. הבעיה העיקרית היא שרוב מודלי השפה אומנו על ויקיפדיה, כתבות ואתרי שאלות ותשובות - ולא שפה השגורה במגרשי הכדורגל. חן יספר על התהליך של יצירת הדאטא, פיינטון וכמובן שרשרת המודלים ליצירת התחזיות שקדמה למענה של הצ׳טבוט.2024-04-2127 minExplAInableExplAInableאיך ללמד מודל שפה לדבר כמו ערס עם חן מרגלית מ LSportsבפרק זה חן מרגלית סיפר על פיתוח SEC by LSports הבוט שמתמצת ועונה על שאלות על משחקי ספורט. הבעיה העיקרית היא שרוב מודלי השפה אומנו על ויקיפדיה, כתבות ואתרי שאלות ותשובות - ולא שפה השגורה במגרשי הכדורגל. חן יספר על התהליך של יצירת הדאטא, פיינטון וכמובן שרשרת המודלים ליצירת התחזיות שקדמה למענה של הצ׳טבוט.2024-04-2127 minExplAInableExplAInableAlgoGen - שילוב של אלגוריתמים ומודלי שפה גנרטיביים, עם אמיר שחרבפרק זה אמיר שחר יספר על שיטה חדשנית שפרסם לשילוב מודלי שפה יחד עם אלגוריתמים. לפני 20 שנים, כנראה שאם הייתם אומרים AI הייתם מתכוונים לאלגוריתמי חיפוש בעצים. אלגוריתמי חיפוש כמו A Star מנצחים מסטרים בשח מט, ואפילו עוזרים לנו להתמצא בעיר עם Waze. למעשה, אם מסתכלים עמוק בתוך LLM מגלים גם בו שימושים באלגוריתמי חיפוש. אמיר יספר מנסיונו איך אפשר לשפר אלגוריתמים, ובפרט אלגוריתמי חיפוש, על ידי שילובם עם מודלי שפה גדולים. 2024-04-1328 minExplAInableExplAInableAlgoGen - שילוב של אלגוריתמים ומודלי שפה גנרטיביים, עם אמיר שחרבפרק זה אמיר שחר יספר על שיטה חדשנית שפרסם לשילוב מודלי שפה יחד עם אלגוריתמים. לפני 20 שנים, כנראה שאם הייתם אומרים AI הייתם מתכוונים לאלגוריתמי חיפוש בעצים. אלגוריתמי חיפוש כמו A Star מנצחים מסטרים בשח מט, ואפילו עוזרים לנו להתמצא בעיר עם Waze. למעשה, אם מסתכלים עמוק בתוך LLM מגלים גם בו שימושים באלגוריתמי חיפוש. אמיר יספר מנסיונו איך אפשר לשפר אלגוריתמים, ובפרט אלגוריתמי חיפוש, על ידי שילובם עם מודלי שפה גדולים. 2024-04-1328 minExplAInableExplAInableמערכות המלצה כמשק כלכלי - עם ד״ר עומר בן פורתנהוג להסתכל על מערכת המלצה כאל בעיית אופטימיזציה, איזה סרטון לנגן כך שיהיו הכי הרבה צפיות בהתחשב בהיסטוריית הלקוח. אבל אם לוקחים צעד אחורה, מגלים שאנחנו בשוק מסחר תלת צדדי. לסרטונים יש יוצרים, ולפלטפורמה יש בעלי מניות, וכמובן - אנחנו הצופים. כמובן שאם הפלטפורמה לא תהיה רווחית, תהיה בעיה בטווח המיידי - אבל גם אם יוצרי התוכן לא יזכו לחשיפה הם ינטשו את הפלטפורמה ותהיה בעיה בטווח הרחוק.   דרך אחרת להסתכל על מערכת המלצה, היא בעיניים של תורת המשחקים. בפרק עומר סיפר על סוגים של שיווי משקל, ועל תמריצי השחקנים. ודיברנו על הסוגיה של יצירת העדפות, ויציבות המערכת כשיש הרבה נישות  2024-04-0724 minExplAInableExplAInableמערכות המלצה כמשק כלכלי - עם ד״ר עומר בן פורתנהוג להסתכל על מערכת המלצה כאל בעיית אופטימיזציה, איזה סרטון לנגן כך שיהיו הכי הרבה צפיות בהתחשב בהיסטוריית הלקוח. אבל אם לוקחים צעד אחורה, מגלים שאנחנו בשוק מסחר תלת צדדי. לסרטונים יש יוצרים, ולפלטפורמה יש בעלי מניות, וכמובן - אנחנו הצופים. כמובן שאם הפלטפורמה לא תהיה רווחית, תהיה בעיה בטווח המיידי - אבל גם אם יוצרי התוכן לא יזכו לחשיפה הם ינטשו את הפלטפורמה ותהיה בעיה בטווח הרחוק.   דרך אחרת להסתכל על מערכת המלצה, היא בעיניים של תורת המשחקים. בפרק עומר סיפר על סוגים של שיווי משקל, ועל תמריצי השחקנים. ודיברנו על הסוגיה של יצירת העדפות, ויציבות המערכת כשיש הרבה נישות  2024-04-0724 minExplAInableExplAInableעושים כבוד לעציםרשתות נוירונים על שלל סוגיהן זוכות להרבה אטנשן - אבל בפועל, הרבה פרויקטים לא זקוקים לרשתות נוירונים. מודליים עציים הם בדרך כלל הפתרון הפשוט והיעיל לדאטא טבלאי. בפרק קצרצר זה, נסקור את עצי החלטה, תהליך אימונם ובעיית הOverfit. נדבר על שתי ההרחבות הנפוצות: Random Forest & Gradient Boosted Trees והיתרונות שיש בשימוש במודלים ותיקים בסביבת פרודקשן2024-03-1812 minExplAInableExplAInableעושים כבוד לעציםרשתות נוירונים על שלל סוגיהן זוכות להרבה אטנשן - אבל בפועל, הרבה פרויקטים לא זקוקים לרשתות נוירונים. מודליים עציים הם בדרך כלל הפתרון הפשוט והיעיל לדאטא טבלאי. בפרק קצרצר זה, נסקור את עצי החלטה, תהליך אימונם ובעיית הOverfit. נדבר על שתי ההרחבות הנפוצות: Random Forest & Gradient Boosted Trees והיתרונות שיש בשימוש במודלים ותיקים בסביבת פרודקשן2024-03-1812 minExplAInableExplAInableאימות פורמלי של רשתות נוירונים עם איתי בוחניק וד״ר גיא אמירנדירים המקרים בהם שני תחומים כ״כ רחוקים במדעי המחשב נפגשים, ועוד זוכים להגיע לפרודקשן. אימות פורמלי הוא תחום העוסק בוידוא מתמטי שתוכנית אמורה לרוץ בלי תקלות, והוכחה שהתוכנית מקיימת תכונות מסוימות. בדרך כלל רואים אימות פורמלי בתחומים כמו קומפילציה או לוגיקה, ולכן היה מרתק לשמוע איך שיטות תאורטיות כאלו מצאו את עצמן בישום אצל חברת אלביט המפתחת רשתות נוירונים. בפרק זה איתי (מאלישרא) וגיא (אוניברסיטה העברית) יספרו על שיתוף הפעולה, והישום בשטח.2024-03-1231 minExplAInableExplAInableאימות פורמלי של רשתות נוירונים עם איתי בוחניק וד״ר גיא אמירנדירים המקרים בהם שני תחומים כ״כ רחוקים במדעי המחשב נפגשים, ועוד זוכים להגיע לפרודקשן. אימות פורמלי הוא תחום העוסק בוידוא מתמטי שתוכנית אמורה לרוץ בלי תקלות, והוכחה שהתוכנית מקיימת תכונות מסוימות. בדרך כלל רואים אימות פורמלי בתחומים כמו קומפילציה או לוגיקה, ולכן היה מרתק לשמוע איך שיטות תאורטיות כאלו מצאו את עצמן בישום אצל חברת אלביט המפתחת רשתות נוירונים. בפרק זה איתי (מאלישרא) וגיא (אוניברסיטה העברית) יספרו על שיתוף הפעולה, והישום בשטח.2024-03-1231 minExplAInableExplAInableMamba סיכום מנהלים ותחזיות לעתיד,עם מייק ארליכסוןעולם מודלי השפה מושתת על ארכיטקטורת הטרנספורמר שמכילה בעיה מובנית בתוכה - סיבוכיות ריבועית בקלט, ולאחרונה אלטרנטיבות מעניינות לטרנספורמר הגיחו לחיינו. פרק זה הינו פרק שני בסדרה, והוא סיכום מנהלים על עקרון הדואליות, מוטיבציה ותחזיות להמשך. מייק ואני נדבר על איך דואליות משפיעה על אימון יעיל והוזלה של עלויות, על ארכיטקטורות חומרה והתאמתן לטרנספורמרים.2024-02-2945 minExplAInableExplAInableMamba סיכום מנהלים ותחזיות לעתיד,עם מייק ארליכסוןעולם מודלי השפה מושתת על ארכיטקטורת הטרנספורמר שמכילה בעיה מובנית בתוכה - סיבוכיות ריבועית בקלט, ולאחרונה אלטרנטיבות מעניינות לטרנספורמר הגיחו לחיינו. פרק זה הינו פרק שני בסדרה, והוא סיכום מנהלים על עקרון הדואליות, מוטיבציה ותחזיות להמשך. מייק ואני נדבר על איך דואליות משפיעה על אימון יעיל והוזלה של עלויות, על ארכיטקטורות חומרה והתאמתן לטרנספורמרים.2024-02-2945 minExplAInableExplAInableMamba סקירה טכנית עם מייק ארליכסוןיש הרבה התרחשויות סביב ארכיטקטורות חדשות (שאינן טרנספורמר) שיכולות להיות המנוע מאחורי הLLM הבא. פרק זה הינו פרק ראשון מתוך שניים, על Mamba ו State Space Models שנראים אלטרנטיבה מבטיחה. נצלול טכנית למוטיבציה ולאלגוריתמים המתמטיים, ואיך פולינומי לג׳נדר קשורים לעניין. הפרק טיפה טכני מהרגיל, בפרק הבא נעלה רמה ונסקור את ההשלכות ותחזיות לדעתנו.2024-02-2949 minExplAInableExplAInableMamba סקירה טכנית עם מייק ארליכסוןיש הרבה התרחשויות סביב ארכיטקטורות חדשות (שאינן טרנספורמר) שיכולות להיות המנוע מאחורי הLLM הבא. פרק זה הינו פרק ראשון מתוך שניים, על Mamba ו State Space Models שנראים אלטרנטיבה מבטיחה. נצלול טכנית למוטיבציה ולאלגוריתמים המתמטיים, ואיך פולינומי לג׳נדר קשורים לעניין. הפרק טיפה טכני מהרגיל, בפרק הבא נעלה רמה ונסקור את ההשלכות ותחזיות לדעתנו.2024-02-2949 minExplAInableExplAInableעולם ללא עוגיות - פרק הפוך עם דין פלבןפרק משותף עם דין פלבן מ The MLOps Podcast על הנושא שמעסיק את עולם הפרסום היום. ברוח חקיקה אירופאית ואמריקאית, נהיה קשה יותר ויותר מבחינה חוקית לעקוב אחרי התנהגות משתמשים עם קוקיז (עוגיות). לשמירה על הפרטיות יש גם צד שנוגע לנו, אנשי הדאטא בכל הקשור למדידת איכות אלגוריתמים ולמידה. בפרק זה דין ייארח את אורי ונדון על מה אפשר לעשות.2024-02-1033 minExplAInableExplAInableעולם ללא עוגיות - פרק הפוך עם דין פלבןפרק משותף עם דין פלבן מ The MLOps Podcast על הנושא שמעסיק את עולם הפרסום היום. ברוח חקיקה אירופאית ואמריקאית, נהיה קשה יותר ויותר מבחינה חוקית לעקוב אחרי התנהגות משתמשים עם קוקיז (עוגיות). לשמירה על הפרטיות יש גם צד שנוגע לנו, אנשי הדאטא בכל הקשור למדידת איכות אלגוריתמים ולמידה. בפרק זה דין ייארח את אורי ונדון על מה אפשר לעשות.2024-02-1033 minExplAInableExplAInableלמידה מולטי מודאלית עם ד״ר חן חג׳ג׳מודלים מולטי-מודאלים הגיעו לקידמת הבמה לאחרונה עם מודלים כמו chatGPT, Whisper, Midjourney. נדבר על האתגרים בשילוש מודלים חזותיים, טקסטואלים וגרפיים - כאשר המימדים שונים, המימדים שונים, ואיך מרוויחים מהשילוב הזה. נדבר על cross modal learning - איך אפשר ללמד מודל אחד על סמך מודאליות של מודל אחר.  2024-01-1427 minExplAInableExplAInableלמידה מולטי מודאלית עם ד״ר חן חג׳ג׳מודלים מולטי-מודאלים הגיעו לקידמת הבמה לאחרונה עם מודלים כמו chatGPT, Whisper, Midjourney. נדבר על האתגרים בשילוש מודלים חזותיים, טקסטואלים וגרפיים - כאשר המימדים שונים, המימדים שונים, ואיך מרוויחים מהשילוב הזה. נדבר על cross modal learning - איך אפשר ללמד מודל אחד על סמך מודאליות של מודל אחר.  2024-01-1427 minExplAInableExplAInableניהול פרויקטי דאטא סיינס עם חן קרניניהול אנשים זה אתגר, ניהול מחקר עם תוצר לא-וודאי - זה אתגר, וניהול ממשקים עם פרודקט,תוכנה והנהלה בכירה זה בכלל מורכב. בפרק זה אירחנו את חן קרני, מנהלת מנוסה בתחום הדאטא לדבר על איך עושים את זה נכון, וללמד מה עבד עבורה. איך לפרק פרויקטים גדולים למשימות קטנות (בשיטת הסלאמי) שאפשר לתקשר, איך למדוד ולהגדיר יעדים (שגם אפשר לעמוד בהם), ומה הם השלבים בפרויקט חדש.2023-12-2922 minExplAInableExplAInableניהול פרויקטי דאטא סיינס עם חן קרניניהול אנשים זה אתגר, ניהול מחקר עם תוצר לא-וודאי - זה אתגר, וניהול ממשקים עם פרודקט,תוכנה והנהלה בכירה זה בכלל מורכב. בפרק זה אירחנו את חן קרני, מנהלת מנוסה בתחום הדאטא לדבר על איך עושים את זה נכון, וללמד מה עבד עבורה. איך לפרק פרויקטים גדולים למשימות קטנות (בשיטת הסלאמי) שאפשר לתקשר, איך למדוד ולהגדיר יעדים (שגם אפשר לעמוד בהם), ומה הם השלבים בפרויקט חדש.2023-12-2922 minExplAInableExplAInableטרנספורמרים בעיבוד תמונה Visual Transformers  טרנספורמרים הם ללא ספק המודל המועדף בעיבוד שפה - אבל האם גם בתמונות? אז... מסתבר שהתמונה לא כל כך ברורה בעיבוד תמונה. בפרק זה נדבר על היתרונות הגדולים של טרנספורמרים בתמונות - ועל הסיטואציות שבהן CNN מנצחות אותם.   קישורים Attention is All You Need An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale End-to-End Object Detection with Transformers Vision-Transformer-papers https://medium.com/@monocosmo77/best-research-papers-on-vision-transformers-784e48a3593a https://paperswithcode.com/methods/category/vision-transformer 2023-12-1929 minExplAInableExplAInableטרנספורמרים בעיבוד תמונה Visual Transformers  טרנספורמרים הם ללא ספק המודל המועדף בעיבוד שפה - אבל האם גם בתמונות? אז... מסתבר שהתמונה לא כל כך ברורה בעיבוד תמונה. בפרק זה נדבר על היתרונות הגדולים של טרנספורמרים בתמונות - ועל הסיטואציות שבהן CNN מנצחות אותם.   קישורים Attention is All You Need An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale End-to-End Object Detection with Transformers Vision-Transformer-papers https://medium.com/@monocosmo77/best-research-papers-on-vision-transformers-784e48a3593a https://paperswithcode.com/methods/category/vision-transformer 2023-12-1929 minExplAInableExplAInableעל אינטלגנציה מלאכותית בעולם המשפט - עם עומר חיוןלפני כשש שנים עומר חיון ואורי גורן התחילו הרפתקאה בעולם הLegal tech והקימו את BestPractix בסט פרקטיקס התמקדה בשלב הטיוטות של החוזים, והיוותה כלי עזר לעורכי דין לזהות ״אנומליות״ בחוזים (שבדרך כלל די סטנדרטים), והצעה של אלטרנטיבות מקובלות יותר. בשנת 2020 בסט פרקטיקס נמכרה לLitera Systems האמריקאית, ועומר הועבר להמשך הפיתוח.   הרבה השתנה בעולם הAI מאז, ולרשותנו היום כלים חזקים כמו ChatGPT שמקצרים את תהליך העבודה המשפטית. פרק זה הינו שיחה פתוחה בין אורי לעומר על האתגרים בעולם המשפט, והעתיד לאור היכולות החדשות בעולם הNLP.2023-12-0336 minExplAInableExplAInableעל אינטלגנציה מלאכותית בעולם המשפט - עם עומר חיוןלפני כשש שנים עומר חיון ואורי גורן התחילו הרפתקאה בעולם הLegal tech והקימו את BestPractix בסט פרקטיקס התמקדה בשלב הטיוטות של החוזים, והיוותה כלי עזר לעורכי דין לזהות ״אנומליות״ בחוזים (שבדרך כלל די סטנדרטים), והצעה של אלטרנטיבות מקובלות יותר. בשנת 2020 בסט פרקטיקס נמכרה לLitera Systems האמריקאית, ועומר הועבר להמשך הפיתוח.   הרבה השתנה בעולם הAI מאז, ולרשותנו היום כלים חזקים כמו ChatGPT שמקצרים את תהליך העבודה המשפטית. פרק זה הינו שיחה פתוחה בין אורי לעומר על האתגרים בעולם המשפט, והעתיד לאור היכולות החדשות בעולם הNLP.2023-12-0336 minExplAInableExplAInableAI Junk - איך עושים למידת מכונה עם קרטון ביצים דיברנו הפעם על פרויקט ai-junk המאפשר לכל אחד ליצור רובוטים מגרוטאות וליצור ולאמן מודלי reinforcement learning שישלטו ברובוטים. ובכך ליצור עולם משחק מרובה רובוטים על הריצפה בסלון. דיברנו על מה זה RL, על הקשיים להפוך RL שעובד טוב בוירטואלי לעולם הפיסי, על כמה נחמד ללמוד על התחום דרך רובוטים :) הפרק הוקלט לפני המלחמה ששיבשה לנו הכל וארועים שתוכננו בוטלו. אם מעניין אתכם להצטרף לסדנה או האקטון הרשמו כאן ונעדכן אתכם. קישורים Ai-junk כתבה למטיבי לכת בעברית על RL DeepMind is Using AI to Teach Robots to Play Soccer 2023-11-2325 minExplAInableExplAInableAI Junk - איך עושים למידת מכונה עם קרטון ביצים דיברנו הפעם על פרויקט ai-junk המאפשר לכל אחד ליצור רובוטים מגרוטאות וליצור ולאמן מודלי reinforcement learning שישלטו ברובוטים. ובכך ליצור עולם משחק מרובה רובוטים על הריצפה בסלון. דיברנו על מה זה RL, על הקשיים להפוך RL שעובד טוב בוירטואלי לעולם הפיסי, על כמה נחמד ללמוד על התחום דרך רובוטים :) הפרק הוקלט לפני המלחמה ששיבשה לנו הכל וארועים שתוכננו בוטלו. אם מעניין אתכם להצטרף לסדנה או האקטון הרשמו כאן ונעדכן אתכם. קישורים Ai-junk כתבה למטיבי לכת בעברית על RL DeepMind is Using AI to Teach Robots to Play Soccer 2023-11-2325 minExplAInableExplAInableמה עושים כשיש מעט נתונים - עם נתנאל דוידוביץנתנאל, דאטא סיינטינסט ותיק שמוביל היום את המחקר בדאבל וריפיי ידבר איתנו על בעיה כואבת אך נפוצה. גייסנו תקציבים, כוח אדם, ועם הרבה רצון ומוטיבציה ניגשנו לפרויקט חדש - פתחנו את מכסה המנוע, וגילינו לצערינו שאין מספיק נתונים- מה הלאה ? נדבר על שלוש טקטיקות שאפשר לנקוט, בין אם זה תיוג עצמאי ורכישת דאטא, שימוש במודלים כגון Label spreading, transfer learning, kde או שימוש במודלים אנליטיים יותר, כגון שיטות בייסיאניות או מודלים פיסיקלים.   2023-11-0527 minExplAInableExplAInableמה עושים כשיש מעט נתונים - עם נתנאל דוידוביץנתנאל, דאטא סיינטינסט ותיק שמוביל היום את המחקר בדאבל וריפיי ידבר איתנו על בעיה כואבת אך נפוצה. גייסנו תקציבים, כוח אדם, ועם הרבה רצון ומוטיבציה ניגשנו לפרויקט חדש - פתחנו את מכסה המנוע, וגילינו לצערינו שאין מספיק נתונים- מה הלאה ? נדבר על שלוש טקטיקות שאפשר לנקוט, בין אם זה תיוג עצמאי ורכישת דאטא, שימוש במודלים כגון Label spreading, transfer learning, kde או שימוש במודלים אנליטיים יותר, כגון שיטות בייסיאניות או מודלים פיסיקלים.   2023-11-0527 minExplAInableExplAInableמודלי שפה ופלט רצוייצא לנו הרבה לדבר על מודלי שפה גדולים לאחרונה, ועל השימושים שלהם. למעט שימוש בצ׳אטבוט או כעזר לכתיבה, לרוב אנחנו רוצים לקבל את הפלט של המודל בפורמט כלשהו כמו Json / Data Class נדבר על שלושת השלבים ביצירת הפלט, הטוקנייזר, הטרנספורמר, והמפענח. ונסביר איך אפשר להתערב במפענח כדי לאלץ את המודל כדי לקבל תשובות במבנה מסוים, להכריח את מודל לענות ״כן״ או ״לא״, לאלץ את התשובה להיות מספרית, מתוך רשימה סגורה וכדומה. ספריות שימושיות: JSONFormer - https://github.com/1rgs/jsonformer OpenAI Function calls - https://openai.com/blog/function-calling-and-other-api-updates   O 2023-10-2419 minExplAInableExplAInableמודלי שפה ופלט רצוייצא לנו הרבה לדבר על מודלי שפה גדולים לאחרונה, ועל השימושים שלהם. למעט שימוש בצ׳אטבוט או כעזר לכתיבה, לרוב אנחנו רוצים לקבל את הפלט של המודל בפורמט כלשהו כמו Json / Data Class נדבר על שלושת השלבים ביצירת הפלט, הטוקנייזר, הטרנספורמר, והמפענח. ונסביר איך אפשר להתערב במפענח כדי לאלץ את המודל כדי לקבל תשובות במבנה מסוים, להכריח את מודל לענות ״כן״ או ״לא״, לאלץ את התשובה להיות מספרית, מתוך רשימה סגורה וכדומה. ספריות שימושיות: JSONFormer - https://github.com/1rgs/jsonformer OpenAI Function calls - https://openai.com/blog/function-calling-and-other-api-updates   O 2023-10-2419 minExplAInableExplAInableעל מודלי שפה גדולים בפרודקשן עם איתי ציטברבפרק זה אירחנו את איתי ציטבר רש"צ מהיירו - לדבר על מודלי שפה בפרודקשן. המודלי צ'אט כ"כ חזקים - האם בכלל נשאר מה לעשות חוץ מאשר לחבר את הAPI לאתר ? מצד שני, זה נראה כאילו כולם משתמשים בLLM, גם כאשר קיימים מודלים פשוטים יותר. נדבר על מה קורה כשהמלצת המודל מתנגשת עם נהלים רפואיים, מה קורה שהמודל נותן הנחיות שגויות למטופל, ואין אפשר לצמצם את התופעה עם Retrieval augmented generation.2023-10-0236 minExplAInableExplAInableעל מודלי שפה גדולים בפרודקשן עם איתי ציטברבפרק זה אירחנו את איתי ציטבר רש"צ מהיירו - לדבר על מודלי שפה בפרודקשן. המודלי צ'אט כ"כ חזקים - האם בכלל נשאר מה לעשות חוץ מאשר לחבר את הAPI לאתר ? מצד שני, זה נראה כאילו כולם משתמשים בLLM, גם כאשר קיימים מודלים פשוטים יותר. נדבר על מה קורה כשהמלצת המודל מתנגשת עם נהלים רפואיים, מה קורה שהמודל נותן הנחיות שגויות למטופל, ואין אפשר לצמצם את התופעה עם Retrieval augmented generation.2023-10-0236 minExplAInableExplAInableאיך נולדים נתונים מתויגים עם דניאל מנוחיןבפרק זה אירחנו את דניאל מנוחין, מנהלת קהילת data-ops המובילה את התיוג וטקסונומיה ב ebay בסופו של דבר, מודלים טובים ככל שיהיו - חסומים על ידי איכות הדאטא עליהם הם אומנו. דניאל תספר על החוויות שלה בebay, על נקודות כשל קלאסיות בתהליך התיוג ועל איך בונים פרוטוקול אנוטציה אחיד. נדון בהבדל בין מתייגים in-house שהם ממש חלק מהארגון, לעומת מתייגים חיצוניים (כדוגמת mechnical turk) ועל ההשפעה על איכות התיוגים ותהליכי הפיקוח.   Data Operations IL https://www.linkedin.com/groups/9236026/ 2023-09-1723 minExplAInableExplAInableאיך נולדים נתונים מתויגים עם דניאל מנוחיןבפרק זה אירחנו את דניאל מנוחין, מנהלת קהילת data-ops המובילה את התיוג וטקסונומיה ב ebay בסופו של דבר, מודלים טובים ככל שיהיו - חסומים על ידי איכות הדאטא עליהם הם אומנו. דניאל תספר על החוויות שלה בebay, על נקודות כשל קלאסיות בתהליך התיוג ועל איך בונים פרוטוקול אנוטציה אחיד. נדון בהבדל בין מתייגים in-house שהם ממש חלק מהארגון, לעומת מתייגים חיצוניים (כדוגמת mechnical turk) ועל ההשפעה על איכות התיוגים ותהליכי הפיקוח.   Data Operations IL https://www.linkedin.com/groups/9236026/ 2023-09-1723 minExplAInableExplAInableעל GLM ו AGLM עם לובה אורלובסקיזה מרגיש כאילו עולם הלמידה מחולק ל2 מחנות, הסטטיסטיקאים ואנשי מדעי המחשב. ולאחרונה יצא מודל AGLM שהוא רעידת אדמה בעולם האקטואריה (ביטוח, פיננסים), וכנראה שרובנו לא שמענו עליו. בפרק זה נסקור מה אלו מודלי GLM, ספוילר - אחד מהם - הרגרסיה הלוגיסטית, אתם מכירים היטב. נדבר על השימושים שלהם, היתרונות שלהם בתחום הפיננסים בעקבות יכולת ההסבר שלהם, ונדבר גם על המגבלות שלהם. נסקור בקצרה את החידושים בAGLM שמשתמש במודלים מבוססי עצים על מנת להביא חזרה לLogistic Regression את הנקודות שהוא חלש בהם ומביא אותו לרמה של XGBoost. Links: https://www.institutdesactuaires.com/global/gene/link.php?doc_id=16273#:~:text=AGLM1%20is%20defined%20as,coding%20methodologies%20of%20dummy%20variables. https://github.com/kkondo1981/aglm GAM - Generalized additive models https://medium.com/just-another-data-scientist/building-interpretable-models-with-generalized-additive-models-in-python-c4404eaf5515 2023-08-2933 minExplAInableExplAInableעל GLM ו AGLM עם לובה אורלובסקיזה מרגיש כאילו עולם הלמידה מחולק ל2 מחנות, הסטטיסטיקאים ואנשי מדעי המחשב. ולאחרונה יצא מודל AGLM שהוא רעידת אדמה בעולם האקטואריה (ביטוח, פיננסים), וכנראה שרובנו לא שמענו עליו. בפרק זה נסקור מה אלו מודלי GLM, ספוילר - אחד מהם - הרגרסיה הלוגיסטית, אתם מכירים היטב. נדבר על השימושים שלהם, היתרונות שלהם בתחום הפיננסים בעקבות יכולת ההסבר שלהם, ונדבר גם על המגבלות שלהם. נסקור בקצרה את החידושים בAGLM שמשתמש במודלים מבוססי עצים על מנת להביא חזרה לLogistic Regression את הנקודות שהוא חלש בהם ומביא אותו לרמה של XGBoost. Links: https://www.institutdesactuaires.com/global/gene/link.php?doc_id=16273#:~:text=AGLM1%20is%20defined%20as,coding%20methodologies%20of%20dummy%20variables. https://github.com/kkondo1981/aglm GAM - Generalized additive models https://medium.com/just-another-data-scientist/building-interpretable-models-with-generalized-additive-models-in-python-c4404eaf5515 2023-08-2933 minExplAInableExplAInableעם שוקי ויואל על מאחורי הקלעים של One Shot Learningמי לא מכיר את שוקי ויואל - הגאונים מאחורי ערוץ היוטיוב האדיר שמביא את תרבות הלייב קודינג בעולמות למידת המכונה לארץ הקודש. וואן שוט לרנינג התחיל לפני כשנתיים כרעיון, ומאז הפך לקאלט של ממש. אבל מאחורי כל סרטון של חצי שעה, מסתתרת עבודה רבה, מחקר, באגים, והמון נסיונות שהלכו לפח. בפרק זה אורי ראיין את שוקי ויואל על מאחורי הקלעים של ההפקה, ושואל שאלות קשות. איך הכל התחיל ולמה? איזה פרק הכי אהבתם? איזה פדיחה קרתה בצילומים? ומה התוכניות להמשך ?   קישורים: 1. One Shot Learning 2023-08-1434 minExplAInableExplAInableעם שוקי ויואל על מאחורי הקלעים של One Shot Learningמי לא מכיר את שוקי ויואל - הגאונים מאחורי ערוץ היוטיוב האדיר שמביא את תרבות הלייב קודינג בעולמות למידת המכונה לארץ הקודש. וואן שוט לרנינג התחיל לפני כשנתיים כרעיון, ומאז הפך לקאלט של ממש. אבל מאחורי כל סרטון של חצי שעה, מסתתרת עבודה רבה, מחקר, באגים, והמון נסיונות שהלכו לפח. בפרק זה אורי ראיין את שוקי ויואל על מאחורי הקלעים של ההפקה, ושואל שאלות קשות. איך הכל התחיל ולמה? איזה פרק הכי אהבתם? איזה פדיחה קרתה בצילומים? ומה התוכניות להמשך ?   קישורים: 1. One Shot Learning 2023-08-1434 minExplAInableExplAInableתורת המשחקים עם מורן קורן בפרק זה אירחנו את מורן קורן, חוקר ומרצה לתורת המשחקים מאוניברסיטת בן גוריון. דיברנו בעבר שימוש בערכי שייפלי לפרשנות מודלים, ערכי שייפלי הם נושא מחקר פעיל בתורת המשחקים והחלטנו להעמיק ולשפוך אור על תורת המשחקים ואיך הרעיונות משלימים את הנחקר בלמידת מכונה. דיברנו על המונחים, מהו שיווי משקל ? איך מגדירים משחקים לפי ידיעה שלמה או גורל, על אסטרטגיה אופטימלית, ואיפה תורת המשחקים פוגשת אותנו כאנשי דאטא. איך אפשר להשתמש בתורת המשחקים לצורך איסוף דאטא של מודלים כדי למנוע הטייה באיסוף הנתונים. ונדבר על רעיונות מתורת המשחקים שהשפיעו על תחום המכרזים שמעסיק דאטא סיינטיסטים רבים. קישורים: שייפלי: https://christophm.github.io/interpretable-ml-book/shapley.html https://research.ibm.com/publications/strategic-classification On learning optimal contracts: https://www.cs.cornell.edu/home/kleinber/aer18-fairness.pdf 2023-08-0230 minExplAInableExplAInableתורת המשחקים עם מורן קורן בפרק זה אירחנו את מורן קורן, חוקר ומרצה לתורת המשחקים מאוניברסיטת בן גוריון. דיברנו בעבר שימוש בערכי שייפלי לפרשנות מודלים, ערכי שייפלי הם נושא מחקר פעיל בתורת המשחקים והחלטנו להעמיק ולשפוך אור על תורת המשחקים ואיך הרעיונות משלימים את הנחקר בלמידת מכונה. דיברנו על המונחים, מהו שיווי משקל ? איך מגדירים משחקים לפי ידיעה שלמה או גורל, על אסטרטגיה אופטימלית, ואיפה תורת המשחקים פוגשת אותנו כאנשי דאטא. איך אפשר להשתמש בתורת המשחקים לצורך איסוף דאטא של מודלים כדי למנוע הטייה באיסוף הנתונים. ונדבר על רעיונות מתורת המשחקים שהשפיעו על תחום המכרזים שמעסיק דאטא סיינטיסטים רבים. קישורים: שייפלי: https://christophm.github.io/interpretable-ml-book/shapley.html https://research.ibm.com/publications/strategic-classification On learning optimal contracts: https://www.cs.cornell.edu/home/kleinber/aer18-fairness.pdf 2023-08-0230 minExplAInableExplAInableעל מערכות חיפוש - סיכום ביקור בכנס הייסטאק 2023 עם אמיר לבנטלאמיר ואורי נסעו במסגרת עבודתם בארגמקס לכנס הייסטאק HayStack2023 המתמקד בחיפוש, ואימלקו לכם את הפרק לעשרים דקות צפופות על החידושים בתחום החיפוש בעידן ה Language models דיברנו על ארכיטקטורות חיפוש ובנוסף כוסו האלגוריתמים הבאים Splade Hyde Search augmentation with LLM 2023-07-0720 minExplAInableExplAInableעל מערכות חיפוש - סיכום ביקור בכנס הייסטאק 2023 עם אמיר לבנטלאמיר ואורי נסעו במסגרת עבודתם בארגמקס לכנס הייסטאק HayStack2023 המתמקד בחיפוש, ואימלקו לכם את הפרק לעשרים דקות צפופות על החידושים בתחום החיפוש בעידן ה Language models דיברנו על ארכיטקטורות חיפוש ובנוסף כוסו האלגוריתמים הבאים Splade Hyde Search augmentation with LLM 2023-07-0720 minExplAInableExplAInableמעבר לדאטא אנליסט לדאטא סיינס - בחסות YDATAבפרק זה אירחנו את רותם דמבו ועומר דודי, שסיפרו לנו על המעבר שעשו בשנה האחרונה, מתפקיד של אנליסט לתפקיד של מדען נתונים. דיברנו על הפערים "התרבותיים" בין המקצועות, אילו יתרונות יש לאנליסט שמחפש להכנס לתחום מדעי הנתונים, אילו השלמות כדאי לעשות ואיזה טיפים יש להם לתת למי שנכנס לתחום. הם יספרו על ההחלטה לעשות את המעבר, על הלימודים בתוכנית Y-DATA, על איך התוכנית סייעה להם במעבר ועל מה הם עושים כיום. 2023-06-2546 minExplAInableExplAInableמעבר לדאטא אנליסט לדאטא סיינס - בחסות YDATAבפרק זה אירחנו את רותם דמבו ועומר דודי, שסיפרו לנו על המעבר שעשו בשנה האחרונה, מתפקיד של אנליסט לתפקיד של מדען נתונים. דיברנו על הפערים "התרבותיים" בין המקצועות, אילו יתרונות יש לאנליסט שמחפש להכנס לתחום מדעי הנתונים, אילו השלמות כדאי לעשות ואיזה טיפים יש להם לתת למי שנכנס לתחום. הם יספרו על ההחלטה לעשות את המעבר, על הלימודים בתוכנית Y-DATA, על איך התוכנית סייעה להם במעבר ועל מה הם עושים כיום. 2023-06-2546 minExplAInableExplAInableעל למידה חיזוקית באימון מודלי שפה RLHF עם מייקקשה לעבור ברחוב היום בלי לשמוע מישהו מספר לחברו על צ'אט ג'י פי טי או LLM אחד החידושים באימון שלו, למעשה ב InstructGPT היו השימוש בלמידה חיזוקית על בסיס דאטא מתויג אנושי בתהליך הדגימה נספר על אלגוריתם ה RLHF ושילובו בתוך מודלי השפה LLM 2023-06-1355 minExplAInableExplAInableעל למידה חיזוקית באימון מודלי שפה RLHF עם מייקקשה לעבור ברחוב היום בלי לשמוע מישהו מספר לחברו על צ'אט ג'י פי טי או LLM אחד החידושים באימון שלו, למעשה ב InstructGPT היו השימוש בלמידה חיזוקית על בסיס דאטא מתויג אנושי בתהליך הדגימה נספר על אלגוריתם ה RLHF ושילובו בתוך מודלי השפה LLM 2023-06-1355 minExplAInableExplAInableסיבתיות עם אוהד לוינקרון פישבפרק זה נדבר עם אוהד מדילטייל, העוסק בניתוח סיבתיות. אנחנו כולנו למדנו בטירונות דאטא סיינס ש Correlation does not imply causation אבל מה כן ? האם חייבים לבצע ניסויים מדוקדקים? והאם זה רלוונטי רק לעולם הרפואה או לכולנו ?   קישורים: DoWhy tutorials אלגוריתמים - EconML docs Guide - Athey, Stuart, Vogelstein 2021 מאמר של אוהד  https://arxiv.org/abs/2207.01722   מאמר Ascarza 2023-05-2836 minExplAInableExplAInableסיבתיות עם אוהד לוינקרון פישבפרק זה נדבר עם אוהד מדילטייל, העוסק בניתוח סיבתיות. אנחנו כולנו למדנו בטירונות דאטא סיינס ש Correlation does not imply causation אבל מה כן ? האם חייבים לבצע ניסויים מדוקדקים? והאם זה רלוונטי רק לעולם הרפואה או לכולנו ?   קישורים: DoWhy tutorials אלגוריתמים - EconML docs Guide - Athey, Stuart, Vogelstein 2021 מאמר של אוהד  https://arxiv.org/abs/2207.01722   מאמר Ascarza 2023-05-2836 minExplAInableExplAInableחיפוש וקטורי מקורבוקטורים, וקטורים בכל מקום ! דיברנו על מילים שהופכות לוקטורים, מסמכים שהופכים לוקטורים, תמונות שהופכות לוקטורים. אבל ברוב המקרים, נדרש חיפוש של וקטורים דומים למשימות של קלאסיפיקציה, דירוג ואפילו זיהוי אנומליות. חיפוש וקטורי בקנה מידה גדול זו בעיה הנדסית לא פשוטה, עם אילוצי זמן ריצה וזכרון. בפרק קצרצר זה, נסקור שלושה אלגוריתמים לחיפוש מקורב ונדבר על סוגי הוקטורים המתאימים. 2023-05-1414 minExplAInableExplAInableחיפוש וקטורי מקורבוקטורים, וקטורים בכל מקום ! דיברנו על מילים שהופכות לוקטורים, מסמכים שהופכים לוקטורים, תמונות שהופכות לוקטורים. אבל ברוב המקרים, נדרש חיפוש של וקטורים דומים למשימות של קלאסיפיקציה, דירוג ואפילו זיהוי אנומליות. חיפוש וקטורי בקנה מידה גדול זו בעיה הנדסית לא פשוטה, עם אילוצי זמן ריצה וזכרון. בפרק קצרצר זה, נסקור שלושה אלגוריתמים לחיפוש מקורב ונדבר על סוגי הוקטורים המתאימים. 2023-05-1414 minExplAInableExplAInableעל התאוריה של Replay Buffer עם שירלי די קסטרו שעשועפרק נוסף בתחום הלמידה החיזוקית, הפעם צוללים לפרטים הטכניים עם התאוריה מאחורי Replay Buffer סוכן, יכול ללמוד רק מהפעולות שלו - מה שנקרא On Policy או למידה גם מפעולות של סוכנים אחרים, מה שנקרא Off Policy בגישת הריפליי באפר, שומרים "הקלטה" של פעולות עבר ותוצאות עבר - ודוגמים מתוכן לצרכי הלמידה. שירלי תספר לנו על המחקר שלה לגבי השפעת גודל הבאפר, והשיפור בתוצאות של אימוני מודלי RL 2023-04-1620 minExplAInableExplAInableעל התאוריה של Replay Buffer עם שירלי די קסטרו שעשועפרק נוסף בתחום הלמידה החיזוקית, הפעם צוללים לפרטים הטכניים עם התאוריה מאחורי Replay Buffer סוכן, יכול ללמוד רק מהפעולות שלו - מה שנקרא On Policy או למידה גם מפעולות של סוכנים אחרים, מה שנקרא Off Policy בגישת הריפליי באפר, שומרים "הקלטה" של פעולות עבר ותוצאות עבר - ודוגמים מתוכן לצרכי הלמידה. שירלי תספר לנו על המחקר שלה לגבי השפעת גודל הבאפר, והשיפור בתוצאות של אימוני מודלי RL 2023-04-1620 minExplAInableExplAInableהעבודה הראשונה בדאטא שליפרק זה הוא חסות מיוחד בשיתוף אנבידיה, שמוקדש לג'וניורים. אנבידיה הפיקה את כנס ה GTC עם דגש מיוחד השנה של גנרטיב - להרשמה לחצו פה בפרק ראיינו חמישה דאטא סיינטיסטים טריים: צחי מורד, טלחיים דמארי, נתי מגור, דין עזרא ואבי חביב. 2023-03-1520 minExplAInableExplAInableהעבודה הראשונה בדאטא שליפרק זה הוא חסות מיוחד בשיתוף אנבידיה, שמוקדש לג'וניורים. אנבידיה הפיקה את כנס ה GTC עם דגש מיוחד השנה של גנרטיב - להרשמה לחצו פה בפרק ראיינו חמישה דאטא סיינטיסטים טריים: צחי מורד, טלחיים דמארי, נתי מגור, דין עזרא ואבי חביב. 2023-03-1520 minExplAInableExplAInableעל קורסטים עם איתן נצרבפרק זה אירחנו את איתן נצר, מ data heroes לדבר על בחירה חכמה של דגימות לצורך אימון מודלים. אנחנו בעידן הדאטא, נאספים טרות של אירועים מדי יום - אבל המודל שלנו לאו דווקא מרוויח מכל השפע הזה. האם אפשר להגיע לביצועים דומים עם שבריר הדאטא ובחירה חכמה של הדגימה ? איתן יספר לנו על גישת ה core set שחקר, והחליט לימים להקים את דאטאהירוז על מנת להנגיש את הטכנולוגיה. מבין המשקיעים בחברה, נמצא גם Andrew Ng שהוא מאמין גדול ב Data Centric AI   קישורים: https://dataheroes.ai/ https://dataheroes.ai/introduction-to-coresets/ 2023-03-0621 minExplAInableExplAInableעל קורסטים עם איתן נצרבפרק זה אירחנו את איתן נצר, מ data heroes לדבר על בחירה חכמה של דגימות לצורך אימון מודלים. אנחנו בעידן הדאטא, נאספים טרות של אירועים מדי יום - אבל המודל שלנו לאו דווקא מרוויח מכל השפע הזה. האם אפשר להגיע לביצועים דומים עם שבריר הדאטא ובחירה חכמה של הדגימה ? איתן יספר לנו על גישת ה core set שחקר, והחליט לימים להקים את דאטאהירוז על מנת להנגיש את הטכנולוגיה. מבין המשקיעים בחברה, נמצא גם Andrew Ng שהוא מאמין גדול ב Data Centric AI   קישורים: https://dataheroes.ai/ https://dataheroes.ai/introduction-to-coresets/ 2023-03-0621 minExplAInableExplAInableאתגר הלווינות של מפא”תבפרק זה נציג את אתגר הלווינות החדש בסדרת MAFAT Challenge. אירחנו את ליאל ממפא"ת ואת שי ועידן מ-Webiks. דיברנו על מהפכת החלל, האתגר בזיהוי אובייקטים מתצלומי לוויין במאפיינים שונים וההבדלים ביחס לגילוי אובייקטים קלאסיים.   קישור לתחרות: https://codalab.lisn.upsaclay.fr/competitions/9603 2023-02-2032 minExplAInableExplAInableאתגר הלווינות של מפא”תבפרק זה נציג את אתגר הלווינות החדש בסדרת MAFAT Challenge. אירחנו את ליאל ממפא"ת ואת שי ועידן מ-Webiks. דיברנו על מהפכת החלל, האתגר בזיהוי אובייקטים מתצלומי לוויין במאפיינים שונים וההבדלים ביחס לגילוי אובייקטים קלאסיים.   קישור לתחרות: https://codalab.lisn.upsaclay.fr/competitions/9603 2023-02-2032 minExplAInableExplAInableזיהוי הונאות על ידי אנומליות עם אנדרס מRiskifiedזיהוי אנומליות הוא נושא שימושי למגוון בעיות, זיהוי סנסורים דפוקים, אאוטליירים בדאטא או התנהגות חשודה. הבעיה היא שזיהוי אנמליות בפני עצמו הא לא תמיד שימושי, אם אין פעולה שאפשר לבצע בעקבות החריגה. נדבר על הגישות הקלאסיות לאנומלי, כגון * Density estimation * Auto regressive * Distance based measures ועל הבעייתיות שנובעת מחישוב מרחקים במימדים גבוהים. אנדרס יציג את הגישה ההירכית שעבדה להם בריסקיפייד, המבוססת על אימון מספר גדול (6000) של מודלים ברמות שונות, והפעלת לוגיקה סטטיסטית על החריגות של כל מודל בפני עצמו. הגישה שונה מגישות קודמות, שכן כל מודל משויך למטריקה - אזי אפשר לא רק לחזות אנומליות , אלא גם להסביר מדוע זו אנומליה ולסנן אך ורק לאנומליות עבורן יש פעולה שאפשר לנקוט.   קישורים: problems and challenges related to anomaly detection on big data The Curse of Dimensionality   Andres’ talk about their "new approach" 2023-02-0937 minExplAInableExplAInableזיהוי הונאות על ידי אנומליות עם אנדרס מRiskifiedזיהוי אנומליות הוא נושא שימושי למגוון בעיות, זיהוי סנסורים דפוקים, אאוטליירים בדאטא או התנהגות חשודה. הבעיה היא שזיהוי אנמליות בפני עצמו הא לא תמיד שימושי, אם אין פעולה שאפשר לבצע בעקבות החריגה. נדבר על הגישות הקלאסיות לאנומלי, כגון * Density estimation * Auto regressive * Distance based measures ועל הבעייתיות שנובעת מחישוב מרחקים במימדים גבוהים. אנדרס יציג את הגישה ההירכית שעבדה להם בריסקיפייד, המבוססת על אימון מספר גדול (6000) של מודלים ברמות שונות, והפעלת לוגיקה סטטיסטית על החריגות של כל מודל בפני עצמו. הגישה שונה מגישות קודמות, שכן כל מודל משויך למטריקה - אזי אפשר לא רק לחזות אנומליות , אלא גם להסביר מדוע זו אנומליה ולסנן אך ורק לאנומליות עבורן יש פעולה שאפשר לנקוט.   קישורים: problems and challenges related to anomaly detection on big data The Curse of Dimensionality   Andres’ talk about their "new approach" 2023-02-0937 minExplAInableExplAInableאיך לא להעסיק ג’וניורים במקצועות הדאטאפרק זה הוא פרק סולו של אורי, בוא הוא יספר על החוויה שלו בפתיחת משרת ג'וניור בארגמקס. המשרה זכתה לחשיפה גבוהה ברשתות החברתיות והגיעה ל40 אלף איש בעקבות שיטת הגיוס הלא שגרתית. אורי יספר על מבחן הבית, ההיענות המפתיעה של מועמדים והביקורות שקיבל מקולגות לתחום. באם יש לכם נסיון או מומחיות בתחום גיוס הג'וניורים, נשמח לפידבק בקבוצת הטלגרם שלנו https://t.me/explainablepodcast לעיון במבחן הבית: https://argmax.ml/jr   2023-01-2222 minExplAInableExplAInableאיך לא להעסיק ג’וניורים במקצועות הדאטאפרק זה הוא פרק סולו של אורי, בוא הוא יספר על החוויה שלו בפתיחת משרת ג'וניור בארגמקס. המשרה זכתה לחשיפה גבוהה ברשתות החברתיות והגיעה ל40 אלף איש בעקבות שיטת הגיוס הלא שגרתית. אורי יספר על מבחן הבית, ההיענות המפתיעה של מועמדים והביקורות שקיבל מקולגות לתחום. באם יש לכם נסיון או מומחיות בתחום גיוס הג'וניורים, נשמח לפידבק בקבוצת הטלגרם שלנו https://t.me/explainablepodcast לעיון במבחן הבית: https://argmax.ml/jr   2023-01-2222 minExplAInableExplAInableרשתות נוירונים על גרפים עם חגי מרוןבפרק זה אירחנו את חי מרון מ nvidia לדבר על עיבוד גרפים עם רשתות נוירונים. נדבר על ישומים של גרפים בחיים האמיתיים, ועל ההבדל האינהרנטי שבין גרף לבין "תמונה" או מטריצה כללית. נדבר על 4 הגישות הרווחות למידול שיטות ספקטרליות מודלי העברת הודעות רשתות אקוויורינטיות וכמובן, טרנספורמרים לקריאה נוספת: https://www.cs.mcgill.ca/~wlh/grl_book/files/GRL_Book.pdf הרצאה של חגי על יצוג גרפים כסימטריות https://www.youtube.com/watch?v=k3E3XyMtQcA&list=PL7VfmMOOwNlJ5PndlhiMwjvqDTA6m1Z9i&index=2&t=120s   2023-01-0931 minExplAInableExplAInableרשתות נוירונים על גרפים עם חגי מרוןבפרק זה אירחנו את חי מרון מ nvidia לדבר על עיבוד גרפים עם רשתות נוירונים. נדבר על ישומים של גרפים בחיים האמיתיים, ועל ההבדל האינהרנטי שבין גרף לבין "תמונה" או מטריצה כללית. נדבר על 4 הגישות הרווחות למידול שיטות ספקטרליות מודלי העברת הודעות רשתות אקוויורינטיות וכמובן, טרנספורמרים לקריאה נוספת: https://www.cs.mcgill.ca/~wlh/grl_book/files/GRL_Book.pdf הרצאה של חגי על יצוג גרפים כסימטריות https://www.youtube.com/watch?v=k3E3XyMtQcA&list=PL7VfmMOOwNlJ5PndlhiMwjvqDTA6m1Z9i&index=2&t=120s   2023-01-0931 minExplAInableExplAInableיצירה אוטומטית של קוד עם פרופ ערן יהב וד”ר אורי אלוןבפרק קודם דיברנו על קודקס, מודל השפה שמאחורי Github Co-Pilot בפרק זה, החלטנו להעמיק ולראיין את ערן יהב, חוקר באקדמיה והמוח מאחורי TabNine ואורי אלון, פוסט דוקטורט בתחום שחוקר את הנושא הרבה לפני שזה היה מגניב. נדבר על ההיסטוריה של התחום, גישות מבוססות גרפים, דקדוק ומה הקשר בין שפת התכנות ליכולת החיזוי. כמו כן נדבר על אתגרים מוצריים ב TabNine ועל המעטפת הנדרשת להפיכת מודל למוצר שאנשים משתמשים בו ומרוצים ממנו. 2022-12-191h 01ExplAInableExplAInableיצירה אוטומטית של קוד עם פרופ ערן יהב וד”ר אורי אלוןבפרק קודם דיברנו על קודקס, מודל השפה שמאחורי Github Co-Pilot בפרק זה, החלטנו להעמיק ולראיין את ערן יהב, חוקר באקדמיה והמוח מאחורי TabNine ואורי אלון, פוסט דוקטורט בתחום שחוקר את הנושא הרבה לפני שזה היה מגניב. נדבר על ההיסטוריה של התחום, גישות מבוססות גרפים, דקדוק ומה הקשר בין שפת התכנות ליכולת החיזוי. כמו כן נדבר על אתגרים מוצריים ב TabNine ועל המעטפת הנדרשת להפיכת מודל למוצר שאנשים משתמשים בו ומרוצים ממנו. 2022-12-191h 01ExplAInableExplAInableData Centric AI עם סיגל שקדנראה שעולם המודלים הגיעה לבשלות, לא פעם יוצא לנסות כמה מודלים שונים ולהגיע לאותן מטריקות. הטרנד של data centric ai שמוביל Andrew Ng דוגל בגישה שהפוקוס צריך לעבור לבחירה נכונה של הדאטא, ויצירה חכמה של דאטא סינטתי יותר מאשר אופטימיזציה של מודלים. סיגל שקד תספר לנו על הגישה החדשה וההבדלי מונחים אל מול גישות קלאסיות של resampling / augmentation קישורים רלוונטים: imbalanced-learn TGAN CTGAN TABDDPM SDV Commercial: gretel, datomize 2022-12-0620 minExplAInableExplAInableData Centric AI עם סיגל שקדנראה שעולם המודלים הגיעה לבשלות, לא פעם יוצא לנסות כמה מודלים שונים ולהגיע לאותן מטריקות. הטרנד של data centric ai שמוביל Andrew Ng דוגל בגישה שהפוקוס צריך לעבור לבחירה נכונה של הדאטא, ויצירה חכמה של דאטא סינטתי יותר מאשר אופטימיזציה של מודלים. סיגל שקד תספר לנו על הגישה החדשה וההבדלי מונחים אל מול גישות קלאסיות של resampling / augmentation קישורים רלוונטים: imbalanced-learn TGAN CTGAN TABDDPM SDV Commercial: gretel, datomize 2022-12-0620 minExplAInableExplAInableעל חינוך בתחום הבינה המלאכותית עם שי פרחבפרק זה אירחנו את שי פרח ממכון וייצמן, מומחה להוראת המדעים. בעידן שלנו, ללמוד לתכנת זה כישור יסוד כמו קריאה וכתיבה בעידן המחשב. האם הגיע המקום לחשיבה בשיטת ai4all על משקל תנועת ה coding4all הפופולארי. דיברנו על הכשרות בתחום הבינה המלאכותית בתוכנית הלימודים. מה ההבדל בין "מדעי המחשב הקלאסי" לבין אפיון בעיה כ"למידת מכונה" מנקודת המבט של המהנדס.   2022-11-2230 minExplAInableExplAInableעל חינוך בתחום הבינה המלאכותית עם שי פרחבפרק זה אירחנו את שי פרח ממכון וייצמן, מומחה להוראת המדעים. בעידן שלנו, ללמוד לתכנת זה כישור יסוד כמו קריאה וכתיבה בעידן המחשב. האם הגיע המקום לחשיבה בשיטת ai4all על משקל תנועת ה coding4all הפופולארי. דיברנו על הכשרות בתחום הבינה המלאכותית בתוכנית הלימודים. מה ההבדל בין "מדעי המחשב הקלאסי" לבין אפיון בעיה כ"למידת מכונה" מנקודת המבט של המהנדס.   2022-11-2230 minExplAInableExplAInableזרימות מנורמלות עם מייק ארליכסוןמייק, אורח קבוע של הפודקאסט ידבר איתנו על Normalized Flows מודל חדש ליצירת תמונה מטקסט, או תמונה מתמונה בדומה ל Diffusion model, GANS and VAE נדבר על ההבדלים בין המודלים, על היתרון ב density estimations ונבחן לעומק את הבניה המיוחדת של ההמרה המתמטית שמאפשרת חישוב יעיל ומדויק של ההתפלגות 2022-11-0336 minExplAInableExplAInableזרימות מנורמלות עם מייק ארליכסוןמייק, אורח קבוע של הפודקאסט ידבר איתנו על Normalized Flows מודל חדש ליצירת תמונה מטקסט, או תמונה מתמונה בדומה ל Diffusion model, GANS and VAE נדבר על ההבדלים בין המודלים, על היתרון ב density estimations ונבחן לעומק את הבניה המיוחדת של ההמרה המתמטית שמאפשרת חישוב יעיל ומדויק של ההתפלגות 2022-11-0336 minExplAInableExplAInableאנומליות בתמונות עם ערן אילתבפרק זה אירחנו את ערן אילת האנומליה, לדבר על חיזוי אנומליות בתמונות.. חיזוי של חריגות הוא קריטי לתחומים רבים כמו סייבר, הונאה פיננסית ובקרה על מודלים. בעולמות התמונה, נדבר על שלושת הסוגים של חריגות, חריגה מההתפלגות OOD חריגה סמנטית, אובייקט לא מוכר. ולבסוף חריגה כזיהוי של פגם (למשל בעולם היצור)   נדבר איך מודלים מתחום התמונה כמו קונטרסטיב, גאנ וטרנספורמרים משמשים גם לזיהוי חריגות קרדיט למחקר משותף: מתן טור פז 2022-10-1835 minExplAInableExplAInableאנומליות בתמונות עם ערן אילתבפרק זה אירחנו את ערן אילת האנומליה, לדבר על חיזוי אנומליות בתמונות.. חיזוי של חריגות הוא קריטי לתחומים רבים כמו סייבר, הונאה פיננסית ובקרה על מודלים. בעולמות התמונה, נדבר על שלושת הסוגים של חריגות, חריגה מההתפלגות OOD חריגה סמנטית, אובייקט לא מוכר. ולבסוף חריגה כזיהוי של פגם (למשל בעולם היצור)   נדבר איך מודלים מתחום התמונה כמו קונטרסטיב, גאנ וטרנספורמרים משמשים גם לזיהוי חריגות קרדיט למחקר משותף: מתן טור פז 2022-10-1835 minExplAInableExplAInableאיך פרילנסר ניגש לפרויקט AIתמיר ואורי, שניהם עוסקים כיועצים בתחום למידת המכונה - ועשו הרבה טעויות שניתן ללמוד מהם כשניגשים לפרויקט חדש. בפרק זה, נדבר על שלושה פרויקטים לדוגמא - ומה הן השאלות והסוגיות שצריך להעלות לפני שמתחילים. נדבר על מטריקות - איך מודדים פרויקט, על אתגרים טכניים. איך בוחנים האם הדאטא מספק, והאם הארגון בכלל בשל ל AI והכי חשוב - תיאום ציפיות לתוצרים של הפרויקט. 2022-10-0342 minExplAInableExplAInableאיך פרילנסר ניגש לפרויקט AIתמיר ואורי, שניהם עוסקים כיועצים בתחום למידת המכונה - ועשו הרבה טעויות שניתן ללמוד מהם כשניגשים לפרויקט חדש. בפרק זה, נדבר על שלושה פרויקטים לדוגמא - ומה הן השאלות והסוגיות שצריך להעלות לפני שמתחילים. נדבר על מטריקות - איך מודדים פרויקט, על אתגרים טכניים. איך בוחנים האם הדאטא מספק, והאם הארגון בכלל בשל ל AI והכי חשוב - תיאום ציפיות לתוצרים של הפרויקט. 2022-10-0342 minExplAInableExplAInableCo-Pilot - Codex ויצירה של קוד עם מודלי שפההקופיילוט של גיטהאב הכניס למודעות תחום מחקר מרתק של Program Synthesis העוסק ביצירה של קוד מתוך טקסט או מתוך דוגמאות הרצה. אורי, כמשתמש נלהב של טייס המשנה יספר מהחוויות שלו על השימוש - החוזקות והחולשות של הכלי. ונדבר על קודקס, מודל השפה ש Open AI אימנו על גיטהאב, וכיצד הוא עובד. כמו כן נסקור את תחום עיבוד השפה הפורמלי (לעומת שפה טבעית) ומה ההבדלים במטריקות והאתגרים הדומים והשונים. 2022-09-1426 minExplAInableExplAInableCo-Pilot - Codex ויצירה של קוד עם מודלי שפההקופיילוט של גיטהאב הכניס למודעות תחום מחקר מרתק של Program Synthesis העוסק ביצירה של קוד מתוך טקסט או מתוך דוגמאות הרצה. אורי, כמשתמש נלהב של טייס המשנה יספר מהחוויות שלו על השימוש - החוזקות והחולשות של הכלי. ונדבר על קודקס, מודל השפה ש Open AI אימנו על גיטהאב, וכיצד הוא עובד. כמו כן נסקור את תחום עיבוד השפה הפורמלי (לעומת שפה טבעית) ומה ההבדלים במטריקות והאתגרים הדומים והשונים. 2022-09-1426 minExplAInableExplAInableשישה מאמרים שכל דאטא סיינטינסט חייב להכיר עם שקד זיכלינסקיבפרק זה אירחנו את שקד זיכלינסקי, ראש קבוצת ההמלצות של לייטריקס. שקד ריכז עבורנו את ששת המאמרים החשובים שכל דאטא סיינטיסט מודרני חייב להכיר. ששת המאמרים הם: (1) Attention Is All You Need (2) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (3) A Style-Based Generator Architecture for Generative Adversarial Networks (4) Learning Transferable Visual Models From Natural Language Supervision (5) Mastering the Game of Go with Deep Neural Networks and Tree Search (6) Deep Neural Networks for YouTube Recommendations שקד גם כתב בהרחבה במדיום פה: https://towardsdatascience.com/6-papers-every-modern-data-scientist-must-read-1d0e708becd 2022-09-0425 minExplAInableExplAInableשישה מאמרים שכל דאטא סיינטינסט חייב להכיר עם שקד זיכלינסקיבפרק זה אירחנו את שקד זיכלינסקי, ראש קבוצת ההמלצות של לייטריקס. שקד ריכז עבורנו את ששת המאמרים החשובים שכל דאטא סיינטיסט מודרני חייב להכיר. ששת המאמרים הם: (1) Attention Is All You Need (2) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (3) A Style-Based Generator Architecture for Generative Adversarial Networks (4) Learning Transferable Visual Models From Natural Language Supervision (5) Mastering the Game of Go with Deep Neural Networks and Tree Search (6) Deep Neural Networks for YouTube Recommendations שקד גם כתב בהרחבה במדיום פה: https://towardsdatascience.com/6-papers-every-modern-data-scientist-must-read-1d0e708becd 2022-09-0425 minExplAInableExplAInableNovel Class Discovery זיו פרוינד עלבפרק זה אירחנו את זיו פרוינד שהכיר לנו מונח חדש לבעיה נפוצה. מכירים את זה שאימנתם מודל שעובד מעולה כשמסווגים 10 מחלקות, אבל פתאום כשמגיעים לשטח מגלים שיש עוד 12 מחלקות שלא חשבתם עליהם ומבלבלות את המודל ? זיו יספר על נסיונו בסיווג סיגנלים באלביט, ויספר על גישות לפתרון הבעיה. נשמע לכם כמו קלאסטרינג ? גם לנו - נדבר על ההבדלים ועל שימוש בשיטות כמו Contrastive ללמידת ייצוגים מוכוונת לבעיית הקלאסיפיקציה שתבוא בהמשך.           לקריאה נוספת [1]Hassen, Mehadi and Philip K. Chan. “Learning a Neural-network-based Representation for Open Set Recognition.” ArXiv abs/1802.04365 (2020): n. pag.   [1]Hassen, Mehadi and Philip K. Chan. “Learning a Neural-network-based Representation for Open Set Recognition.” ArXiv abs/1802.04365 (2020): n. pag.   [1]Hsu, Yen-Chang, ZhaoyangLv, and Zsolt Kira. "Learning to cluster in order to transfer across domains and tasks.” ICLR 2018   [1]Yang, Bo, et al. "Towards k-means-friendly spaces: Simultaneous deep learning and clustering." international conference on machine learning. PMLR, 2017.   [1]Geng, Chuanxing, Sheng-jun Huang, and Songcan Chen. "Recent advances in open set recognition: A survey." IEEE transactions on pattern analysis and machine intelligence 43.10 (2020): 3614-3631.   [1]Min, Erxue, et al. "A surve2022-08-1022 minExplAInableExplAInableNovel Class Discovery זיו פרוינד עלבפרק זה אירחנו את זיו פרוינד שהכיר לנו מונח חדש לבעיה נפוצה. מכירים את זה שאימנתם מודל שעובד מעולה כשמסווגים 10 מחלקות, אבל פתאום כשמגיעים לשטח מגלים שיש עוד 12 מחלקות שלא חשבתם עליהם ומבלבלות את המודל ? זיו יספר על נסיונו בסיווג סיגנלים באלביט, ויספר על גישות לפתרון הבעיה. נשמע לכם כמו קלאסטרינג ? גם לנו - נדבר על ההבדלים ועל שימוש בשיטות כמו Contrastive ללמידת ייצוגים מוכוונת לבעיית הקלאסיפיקציה שתבוא בהמשך.           לקריאה נוספת [1]Hassen, Mehadi and Philip K. Chan. “Learning a Neural-network-based Representation for Open Set Recognition.” ArXiv abs/1802.04365 (2020): n. pag.   [1]Hassen, Mehadi and Philip K. Chan. “Learning a Neural-network-based Representation for Open Set Recognition.” ArXiv abs/1802.04365 (2020): n. pag.   [1]Hsu, Yen-Chang, ZhaoyangLv, and Zsolt Kira. "Learning to cluster in order to transfer across domains and tasks.” ICLR 2018   [1]Yang, Bo, et al. "Towards k-means-friendly spaces: Simultaneous deep learning and clustering." international conference on machine learning. PMLR, 2017.   [1]Geng, Chuanxing, Sheng-jun Huang, and Songcan Chen. "Recent advances in open set recognition: A survey." IEEE transactions on pattern analysis and machine intelligence 43.10 (2020): 3614-3631.   [1]Min, Erxue, et al. "A surve2022-08-1022 minExplAInableExplAInableMulti-Task Learning עם איתי מרגוליןבפרק זה נראיין את איתי מרגולין על אחת הטכניקות הפרקטיות בתעשייה שכל עסקן דיפ לרנינג חייב להכיר. מולטי-טאסק זו למידה של מספר משימות במקביל, ולמרות שהמונח קיים כבר עשרות שנים, הוא זכה להכרה מחדש עם פרוץ דיפ לחיינו. נדבר על מתי למידה של מספר משימות מועילה, מתי היא מזיקה ? מה ההבדל מול Transfer learning ? ואיך משלבים כמה מטרות לפונקציית לוס אחת 2022-07-1918 minExplAInableExplAInableMulti-Task Learning עם איתי מרגוליןבפרק זה נראיין את איתי מרגולין על אחת הטכניקות הפרקטיות בתעשייה שכל עסקן דיפ לרנינג חייב להכיר. מולטי-טאסק זו למידה של מספר משימות במקביל, ולמרות שהמונח קיים כבר עשרות שנים, הוא זכה להכרה מחדש עם פרוץ דיפ לחיינו. נדבר על מתי למידה של מספר משימות מועילה, מתי היא מזיקה ? מה ההבדל מול Transfer learning ? ואיך משלבים כמה מטרות לפונקציית לוס אחת 2022-07-1918 min