Description

• 0:00 趣味でオープンなAI作りをやっている者だ
• 2:00 KaggleのRAGコンペ参加
• 4:02 庶民の味方、エンコーダモデルと情報検索
• 11:12 2024年に行った活動
• 13:31 オープンなAIとは？
• 25:31 日本語情報検索モデルの開発
• 32:36 エンコーダモデル, SLMの進化
• 42:21 オープンなAIの始め方

KaggleのRAGコンペ参加

• Kagle - LLM Science Exam

庶民の味方、エンコーダモデルと情報検索

• エンコーダーモデル

2024年に行った活動

• JQaRA : Japanese Question Answering with Retrieval Augmentation - 検索拡張(RAG)評価のための日本語 Q&A データセット
• aCWIR: Japanese Casual Web IR - 日本語情報検索評価のための小規模でカジュアルなWebタイトルと概要のデータセット

オープンなAIとは？

• 公開済みのモデル(重み)がオープンである
• コード(trainer / 推論コード)がOSSである
• データセットがオープンである

日本語情報検索モデルの開発

• 日本語最高性能のRerankerをリリース / そもそも Reranker とは?
• 高性能な日本語SPLADE（スパース検索）モデルを公開しました
• 情報検索モデルで最高性能(512トークン以下)・日本語版SPLADE v2をリリース
• 100倍速で実用的な文章ベクトルを作れる、日本語 StaticEmbedding モデルを公開

エンコーダモデル, SLMの進化

オープンなAIの始め方

• Kaggle