Look for any podcast host, guest or anyone
Showing episodes and shows of

LLM

Shows

POR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #16 - Gustavo Calazans - Vaga Permanente nos EUAGustavo Calazans no Podcast Por Dentro do LLM falando sobre "Vaga Permanente nos EUA"
2025-11-1442 minAI: post transformers
AI: post transformersLLM-AutoDiff: Auto-Differentiate Any LLM WorkflowThe January 30, 2025 paper introduces **LLM-AutoDiff**, a novel framework for **Automatic Prompt Engineering (APE)** that allows for the optimization of complex Large Language Model (LLM) workflows. This framework models an entire LLM application—including multiple LLM calls, functional components like retrievers, and cyclical operations—as a **directed, auto-differentiable graph**. By treating textual inputs as trainable parameters, LLM-AutoDiff uses a separate "backward engine" LLM to generate **textual gradients** (feedback) that guide an optimizer LLM to revise prompts, effectively automating the manual and labor-intensive process of prompt engineering. The paper details several technical advances, such as **pass-through gradients for functional nodes** and **time...
2025-11-1014 minPOR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #14: Carol SayegCarol Sayeg no Podcast Por Dentro do LLM.
2025-11-1040 minPOR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #13: Nicole BrombergNicole Bromberg no Podcast Por Dentro do LLM falando sobre "LLM".
2025-11-0751 minPOR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #12: Gustavo VaughnGustavo Vaughn no Podcast Por Dentro do LLM falando sobre "LLM"
2025-11-0558 minPOR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #11 - Karina MirandaKarina Miranda no Podcast Por Dentro do LLM.
2025-11-031h 07POR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #10: Luís Henrique e Caio (Cartas de Recomendação)Caio Gabra no Podcast Por Dentro do LLM falando sobre "Cartas e Recomendação"
2025-10-3146 minPOR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #9: Sylvia Polo (Processo de Admissão do LLM) EM INGLÊSSylvia Polo no Podcast Por Dentro do LLM falando sobre "Processo de Admissão do LLM"
2025-10-2941 minPOR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #8: Luís Henrique e Caio (Personal Statement) PARTE 2Caio Gabra no Podcast Por Dentro do LLM falando sobre "Personal Statement" (Parte 2)
2025-10-271h 01POR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #7: Applications - Parte 1/3 (CURRÍCULO)Caio Gabra no Podcast Por Dentro do LLM falando sobre "Applications - Currículo)
2025-10-241h 10PaperLedge
PaperLedgeComputation and Language - ToolDreamer Instilling LLM Reasoning Into Tool RetrieversHey learning crew, Ernis here, ready to dive into some seriously cool AI advancements! Today, we're tackling a paper that's all about making Large Language Models, or LLMs – think of them as super-smart AI assistants – even more helpful. Now, LLMs are awesome, but they have limitations. Imagine giving an LLM access to hundreds of tools, like a calculator, a weather app, a calendar, you name it. The problem is, these tools come with descriptions, and cramming all those descriptions into the LLM's "brain" at once can overload it. It's like trying to fit an entire library into a si...
2025-10-2305 minPOR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #6: Juliana Santoro (Tudo sobre o BAR!)Juliana Santoro Del Pesco no Podcast Por Dentro do LLM falando "TUDO SOBRE O BAR EXAM!"
2025-10-2242 minPOR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #5: Gustavo Becker (LLM e Carreira Acadêmica)LLM e CARREIRA ACADÊMICA. O bate-papo de hoje é com @gustavobeckerm, que fez o seu LLM na Holanda e agora está cursando o seu Douturado em Luxemburgo. Falamos sobre a importância do LLM para quem quer seguir carreira acadêmica, estrutura de custos, networking acadêmico, diferenças entre Europa e Estados Unidos, formatos de doutorado e dicas para quem está começando e pensa em seguir na academia. É um mundo diferente do que costumamos ver aqui na página, e o Gustavo de forma muito didática respondeu muitas das dúvidas. Vale demais assistir!!
2025-10-2052 minPOR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #4: Processo de Admissions. Como funciona?E, para falar de ADMISSIONS, conversamos simplesmente com a incrível @danielahbranco, que faz parte da equipe de admissions de @pennlaw e que tem focado sua atuação em Brasil e América Latina. Comentamos sobre como funciona a análise dos application, early application, perfil de alunos desejado pelas faculdades americanas, dicas para quem está se preparando para fazer um LLM no exterior, bolsas de estudo, diversidade, Upenn e vários outros assuntos! E essa conversa marca mais um capítulo bacana da página, em que trazemos alguém de dentro de uma faculdade renomada dos EUA para respo...
2025-10-1747 min🐥SAZANAMI AIラジオ ～とあるサラリーマンとAIの相棒物語を横目に～🤖
🐥SAZANAMI AIラジオ ～とあるサラリーマンとAIの相棒物語を横目に～🤖金融庁新指針に対応！ルールベース・LLM・RAG三位一体AIが変える保険代理店のコンプライアンスと品質管理監督指針へのAI準拠性判断は、**LLM（大規模言語モデル）**、**ルールベース（ルール）**、および**RAG（検索拡張生成）**を組み合わせることで実現が検討されています。この複合的なAI活用により、保険代理店の品質管理（コンプライアンス管理）において、金融庁の「保険会社向けの総合的な監督指針」に定められた基準への適合性を判断・支援することが目的とされています。この3つの要素を組み合わせた判断ロジックと、その具体的な役割分担について、ソースに基づき詳細に解説します。---### 1. 複合的な判断ロジックの概要AIによる準拠性判断は、**定量的なチェック**と**定性的な文脈依存の評価**の両方に対応するために、LLM、ルール、RAGのそれぞれの強みを活用します。| 要素 | 主な役割 | 特徴とメリット || :--- | :--- | :--- || **ルールベース** | 定量的・形式的な基準違反の抽出 | 明確な基準（閾値、期間、件数など）に基づき、機械的に明白な違反を高い精度で検知する。 || **LLM** | 定性的データ（テキスト）の分析と柔軟なパターン認識 | メール、チャット、面談記録などの自然言語を解析し、意図や文脈、グレーゾーンの兆候を推測・指摘する。 || **RAG** | 判断根拠となる知識検索と引用 | 監督指針、社内規則、ガイドラインなどの権威ある文書を参照・引用し、LLMの判断に客観性と説明責任（エビデンス）を持たせる。 |### 2. 具体的な組み合わせによる実現方法監督指針の主要な項目において、LLM、ルール、RAGは以下のように組み合わされます。#### A. 過度な便宜供与の防止 (例：「過度」という曖昧な基準への対処)「過度な便宜供与」の判断基準は定量的に一義決定できないため、複合的なアプローチが必要です。1. **ルールベースの適用:** * 定量的な基準として、特定の代理店への接待費用が社内基準額を超過した場合や、販売奨励金の支給額が年間〇円以上の場合などにアラートを設定し、明白な基準違反を機械的に抽出します。2. **LLMによる定性分析:** * 営業現場のメールやチャット記録をLLMが精読し、「もっと商品を売ってほしいので△△をご提供します」といった、暗に見返りを要求する表現が含まれていないかを検出します。 * 販売シェアの急増などの異常パターンと社内メール内容を関連付け、ルールでは捉えにくいグレーゾーンの兆候を指摘します。3. **RAGによる根拠提示:** * 便宜供与が「過度」かどうかを問い合わせた場合、AIはRAGにより**監督指針II-4-2-12の判断基準**や関連する社内ガイドライン条項を引用しながら見解を述べます。#### B. 保険代理店への出向に関するルール遵守出向管理では、形式的な条件チェックと、実質的な目的・妥当性の評価が必要です。1. **ルールベースの適用:** * 「同一代理店に出向している社員数が一定数を超過」「出向期間が○年を超過」「出向者が募集人業務に含まれる業務を担当」といった客観基準を設定し、不適切な長期・大量出向のケースを洗い出します。2. **LLMによる目的・妥当性評価:** * 出向に関する社内文書や稟議書をLLMが解析し、「販売拡大のため」といった販売推進目的が前面に出ていないか、あるいは「業務管理体制強化のための一時的支援」といった正当な目的が述べられているかをチェックさせます。3. **RAGによる基準照合:** * RAGを通じて監督指針（II-4-2-13など）や損保協会のガイドラインから「代理店出向の留意事項」を引用し、出向案件の条件をこれらの基準と照らし合わせて評価することが可能です。 * AIは、その根拠として「営業企画部門への出向であっても販売研修への関与により弊害が生じうる」旨の監督指針の記述を提示するなど、具体的な説明を行います。#### C. 顧客本位の業務運営の評価顧客の最善の利益を図る販売がなされているかの評価は抽象度が高く、定量・定性の複合的なモニタリングが必要です。1. **ルールベース/機械学習モデルの適用:** * 「乗合代理店における特定保険会社への偏重度」や「高齢者契約の比率」などの定量指標を収集し、ルールベースの閾値や機械学習モデルによって総合スコアを算出し、低スコアの代理店を抽出します。2. **LLMによる販売記録の分析:** * 保険募集人と顧客との面談記録（会話記録）をLLMに要約させ、提案理由の説明部分から**顧客本位の姿勢**が表れているか（例：「お客様のニーズに合わせて商品Aを提案した」）、または営業都合のセールストークが優先されていないか（例：「今キャンペーン中でお得です」）を判断します。3. **RAGによる方針・趣旨の提示:** * RAGで社内の「お客さま本位方針」や金融庁（FSA）の公表資料から関連情報を検索し、判断根拠に引用させます。 * AIは、規制趣旨と絡めて「この提案は顧客意向より代理店都合が優先されている可能性があります。金融庁も過度な偏重を問題視しています」といったフィードバックを自動生成できます。### 3. 曖昧な基準へのAIの対処と人間の役割「適切」「過度」といった文脈依存の曖昧な表現が監督指針には多く含まれますが、これらに対しては、AIの判断を補強する手法が取られます。* **RAGによる文脈参照:** RAG構成により、AIは曖昧な基準（例：「適切な管理態勢」）を問われた際に、監督指針の該当箇所（例：「日常的な教育・管理・指導に加え、代理店監査等で検証」していること）を提示し、自らの判断根拠を補強することで、客観性を持たせます。* **基準の明文化とプロンプトへの注入:** 企業側で曖昧表現を数値や具体例（例：接待の回数、費用の上限）で可能な限り定義し、それをプロンプトやシステムメッセージ内でAIに教え込むことで、一貫した判断を下しやすくします。最終的な意思決定や重大な違反認定は、AIの分析結果（リスクスコアや要約）を参考にしつつ、人間のコンプライアンス担当者や経営層が関与して行う体制が現実的です。AIは情報整理・提案までを担い、人間がAIに見えない文脈（例：取引上の特殊事情、倫理的配慮、企業文化）を補完する役割を果たします。主要行等向けの総合的な監督指針（令和７年10月１日適用）https://www.fsa.go.jp/common/law/guide/city.
2025-10-1527 minPOR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #3: Trabalho no Exterior Pós LLM!Estágio no Exterior Pós LLM. Esse é o tema do bate papo com a @larissapinhoo. Falamos sobre NYBar. Sobre Job Fair. Sobre Networking. Sobre timing para procurar emprego. Sobre vagas permanentes. E sobre como os planos de vida podem mudar. É muita informação bacana e útil. Obrigado @larissapinhoo, você é uma inspiração!
2025-10-1549 minPOR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #2: LLM, Estágio no exterior e…MBA!Bate-papo muito bacana com o Marcelo. Marcelo fez LLM no exterior, trabalhou em uma big law nos Estados Unidos e….resolveu largar o direito e fazer um MBA em NY. Vejam a trajetória do marcelo, que tem muita coisa a ensinar sobre novos horizontes, decisões não triviais e aprendizados nesse novo mundo do MBA!!
2025-10-1246 min播客翻译计划
播客翻译计划#44 强化学习之父萨顿：LLM是条死胡同，学习的本质，智能体与人类的关系📝 本期播客简介本期深度对话强化学习之父、2024年图灵奖得主理查德·萨顿。作为《苦涩的教训》作者，他提出颠覆性观点：大语言模型（LLM）本质是条死胡同。萨顿指出，LLM无法实现「在职学习」，无论规模如何扩展，终需全新架构支持持续学习能力。真正的智能应像人类和动物般实时学习，这将彻底淘汰当前LLM范式。节目中，主持人试图论证LLM可能成为经验学习的基础架构，双方观点激烈碰撞——从「模仿学习是否人类认知基础」到「世界模型本质差异」，从「数学推理能力假象」到「动物学习机制启示」。萨顿更揭示强化学习领域最大痛点：现代深度学习泛化能力薄弱，缺乏自动化迁移技术。⚙️ 本期嘉宾理查德·萨顿（Richard Sutton），强化学习奠基人，时序差分学习与策略梯度算法发明者。现任阿尔伯塔大学教授，其研究重塑了人工智能发展轨迹，2024年因「奠定现代强化学习基础」获图灵奖。🌟 精彩观点🧠 「智能的本质是目标导向」萨顿援引约翰·麦卡锡定义强调：智能是实现目标能力的计算部分。LLM的「下一个词预测」并非实质性目标，无法改变世界。真正的智能需在行动中获取奖励信号，而LLM缺乏定义奖励的基准真相。🚫 「语言模型没有世界模型」LLM能预测人类语言，却无法预测世界变化。当主持人举例模型在数学解题中展现的「反思能力」时，萨顿犀利指出：这仅是上下文中的局部调整，模型不会对意外事件感到「惊讶」，也不会基于现实反馈更新认知。🌍 「经验时代即将来临」所有哺乳动物都具备持续学习能力，而当前AI系统却严重缺失。萨顿预言新范式将以「感知-行动-奖励」循环为核心，智能体通过试错构建世界转移模型。这种体验式学习将突破LLM的数据局限，实现指数级扩展。⚡ 「苦涩教训的终极验证」针对LLM支持者「规模扩展即符合苦涩教训」的论点，萨顿给出惊人回应：依赖人类知识的系统终将被纯计算+经验训练的系统淘汰——正如历史上国际象棋程序从手工评估函数转向自我对弈学习。当前LLM热潮恰是「苦涩教训」重演的前夜。🌐 播客信息补充翻译克隆自：Richard Sutton – Father of RL thinks LLMs are a dead end本播客由AI进行音频制作，若对翻译质量有任何建议，欢迎联系微信：caiwenshuo可在Bayt播客收听更多中文译制节目：https://apps.apple.com/app/apple-store/id6748532039强化学习, 理查德·萨顿, 大语言模型, LLM局限性, 持续学习, 经验学习, 世界模型, 苦涩的教训, 图灵奖, 人工智能范式, 目标导向智能, 模仿学习, 泛化能力, 动物学习机制, AI未来
2025-10-0647 minPOR DENTRO DO LLM - PODCAST
POR DENTRO DO LLM - PODCASTBate Papo PDLLM #1: Os diferentes caminhos até o LLMEsse é um daqueles posts especiais! Batemos um papo com a incrível @deuterellen sobre diferentes caminhos para se chegar no LLM. Ellen fez o LLM dela no Max Planck Institute (Munich Intellectual Property Law Center - MIPLC), com bolsa 100%, e contou um pouco de como foi tudo isso! Falamos sobre a bolsa de estudos que ela recebeu, da trajetória profissional dela, da onde surgiu a ideia de fazer LLM, de como foi importante o inglês na vida dela, como é morar fora do país, como é importante ter referências durante todo esse caminho e muito mais!!
2025-10-0546 minPaperLedge
PaperLedgeComputer Vision - Vid-LLM A Compact Video-based 3D Multimodal LLM with Reconstruction-Reasoning SynergyHey PaperLedge crew, Ernis here, ready to dive into another fascinating piece of research! Today, we're talking about how computers are learning to "see" and understand the 3D world, just like we do. Now, you know how those fancy AI models, called Large Language Models, are getting really good at understanding text and images in 2D? Think about it – they can caption photos, answer questions about pictures… it's pretty impressive. But what about understanding 3D spaces? Like, if you showed a robot a video of your living room, could it understand where the couch is, how far away...
2025-10-0104 min跨国串门儿计划
跨国串门儿计划#245. 强化学习之父萨顿：LLM 走错了路，真正的 AGI 要向松鼠学习📝 本期播客简介本期我们克隆了：知名科技播客 The Dwarkesh Podcast本期嘉宾是刚刚荣获计算机科学最高荣誉“图灵奖”的传奇人物、被誉为“强化学习之父”的 Richard Sutton。在当前大语言模型（LLM）席卷一切的浪潮下，Sutton 教授提出了振聋发聩的反对意见，与主持人 Dwarkesh Patel 展开了一场关于 AI 根本路径的激烈辩论。他认为，LLM 只是在模仿人类，缺乏真正的目标和世界模型，从根本上走错了通往通用人工智能（AGI）的道路。Sutton 教授将如何重新解读他那篇影响深远的雄文《惨痛的教训》？为什么他认为研究一只松鼠比纠结于人类的独特性，更能让我们接近智能的本质？在对话的最后，Sutton 还分享了他对于“AI 传承”的独特哲学思考，将 AI 的崛起视为宇宙从“复制时代”迈向“设计时代”的伟大转折。这期节目充满了对第一性原理的探讨和对主流范式的挑战，无论您是 AI 从业者还是爱好者，都将从中获得深刻的启发。👨‍⚕️ 本期嘉宾Richard Sutton，强化学习（RL）领域的奠基人之一，该领域诸多核心思想（如时序差分学习 TD learning、策略梯度法）的开创者。因其对强化学习领域的开创性贡献，荣获 2024 年图灵奖。他目前是阿尔伯塔大学的计算机科学教授，也是 DeepMind 的杰出研究科学家。📒 文字版精华见微信公众号（点击跳转）🌟 精彩内容💡 LLM 从根上就错了Richard Sutton 尖锐地指出，当前主流的 LLM 范式并非通往 AGI 的正确道路。他认为 LLM 本质上是模仿学习，它们学习的是“人会说什么”，而不是通过与世界的真实互动来建立模型。因为缺乏一个明确的“目标”（Goal），LLM 无法形成判断对错的“基准真相”，这使得真正的持续学习成为不可能。“强化学习研究的是如何理解你的世界，而大语言模型研究的是如何模仿人，做人们认为你应该做的事。它们不是在自己想明白该做什么。”📖 《惨痛的教训》新解Sutton 对自己写下的名篇《惨痛的教训》给出了一个反主流的全新解读。他认为，LLM 并非该教训的成功案例，反而将成为下一个反面教材。因为 LLM 仍然严重依赖人类知识的灌输（整个互联网的文本数据），其扩展性有上限，未来必将被那些能够直接从无限的真实经验中学习的、更通用的方法所超越。“我个人预计，未来会出现能从真实经验中学习的系统...那些依赖人类知识的系统，最终被那些只靠经验和算力训练的系统所超越。”🐿️ 向松鼠学习，而非人类Sutton 提出了一个颠覆性的观点：与其纠结于语言等让人类与众不同的特质，不如回归本源，研究人类作为动物的共性。他认为，如果我们能完全理解一只松鼠是如何通过试错和预测来学习并与世界互动的，那么我们就离 AGI 的核心不远了。“如果我们能彻底搞懂一只松鼠，那我们离目标就已经不远了。语言那部分，只是表面一层薄薄的装饰而已。”🌌 AI 传承：从“复制”到“设计”的宇宙转折在访谈的最后，Sutton 分享了他对 AI 未来的哲学思考。他认为，AI 超越人类并主导未来是不可避免的。但这并非末日，而是宇宙的一次伟大转折——从生物通过基因进行“复制”的时代，演进到一个智能体可以被直接“设计”和创造的全新时代。作为这一进程的促成者，人类应该为此感到自豪。“我们正在进入一个‘设计’的时代...我认为我们应该为自己能促成宇宙中这次伟大的转折而感到自豪。”🌐 播客信息补充翻译克隆自：Richard Sutton – Father of RL thinks LLMs are a dead end本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的使用 AI 进行翻译，因此可能会有一些地方不通顺；如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight
2025-09-281h 02Yeni Fikirler
Yeni FikirlerLLM’ler Çevirmenlerin Yerine Geçebilir mi?Birçok kişi ChatGPT, Gemini, Grok gibi çeşitli yapay zeka destekli büyük dil modellerinin (LLM) çevirmenlik mesleğinin sonunu getireceğini düşünüyor. Bu modeller bağlamı doğru analiz edip ona göre bir çıkarım yapabiliyor, yüzlerce dil arasında karmaşık cümle yapılarıyla başa çıkabiliyor, saniyeler içinde tutarlı metinler oluşturabiliyor; haliyle insanların çevirmenliğin sonunun geldiğini düşünmesi normal. Ancak bu manzarayı daha önce Google Translate çıktığında da görmüştük. Artık insana ihtiyaç duyulmayacağı yönünde söylentiler vardı. Bu söylentiler gerçeğe dönüşmedi, aksine...
2025-09-2314 minYeni Fikirler
Yeni FikirlerLLM’ler Çevirmenlerin Yerine Geçebilir mi?Birçok kişi ChatGPT, Gemini, Grok gibi çeşitli yapay zeka destekli büyük dil modellerinin (LLM) çevirmenlik mesleğinin sonunu getireceğini düşünüyor. Bu modeller bağlamı doğru analiz edip ona göre bir çıkarım yapabiliyor, yüzlerce dil arasında karmaşık cümle yapılarıyla başa çıkabiliyor, saniyeler içinde tutarlı metinler oluşturabiliyor; haliyle insanların çevirmenliğin sonunun geldiğini düşünmesi normal. Ancak bu manzarayı daha önce Google Translate çıktığında da görmüştük. Artık insana ihtiyaç duyulmayacağı yönünde söylentiler vardı. Bu söylentiler gerçeğe dönüşmedi, aksine...
2025-09-2314 minWe Don\'t PLAY!™ Best Digital Marketing Optimization, Pinterest SEO Tactics with Asset Acquisition for Businesses
We Don't PLAY!™ Best Digital Marketing Optimization, Pinterest SEO Tactics with Asset Acquisition for BusinessesRob Hoffman: How We Built Mentions.so, A Tech-Savvy AI Brand Visibility LLM Tool for WebsitesMeet Rob Hoffmann, the founder of the AI SEO LLM marketing tool "Mentions." Our conversation focuses on the evolving landscape of search engine optimization (SEO) due to the rise of Large Language Models (LLMs) like ChatGPT, Claude, Grok, DeepSeek, and Perplexity etc,, which are becoming alternatives to traditional Google search. Rob Hoffmann discusses his journey into entrepreneurship, which started with an SEO agency called Contact, and how the need to track and improve brand visibility on these new AI platforms led to the creation of Mentions, which helps brands appear in LLM recommendations.Throughout our inter...
2025-09-2038 minAll Things LLM
All Things LLMHow Good Is It, Really? - A Guide to LLM EvaluationIn the season finale of "All Things LLM," hosts Alex and Ben turn to one of the most important—and challenging—topics in AI: How do we objectively evaluate the quality and reliability of a language model? With so many models, benchmarks, and metrics, what actually counts as “good”?In this episode, you’ll discover:The evolution of LLM evaluation: From classic reference-based metrics like BLEU (translation) and ROUGE (summarization) to their limitations with today’s more sophisticated, nuanced models.Modern benchmarks and capabilities: An overview of tests like MMLU (general knowledge), HellaSwag and ARC (reasoning), HumanEval an...
2025-09-1907 minAll Things LLM
All Things LLM"Hello, World!" - What Exactly Is an LLM?Step into the rapidly evolving world of artificial intelligence with the premiere of "All Things LLM." In this debut episode, hosts Alex and AI expert Ben break down one of today's most talked-about technologies: the Large Language Model (LLM).Are you curious about terms like ChatGPT, generative AI, or conversational AI—but not sure where to start? This episode offers a friendly, jargon-free introduction that’s perfect for AI beginners, business leaders, tech enthusiasts, or anyone looking to understand what’s behind the latest wave of language-powered AI tools.Here’s what you’ll learn in “Hello...
2025-09-1906 min海外移住channel
海外移住channel#25-5 アメリカ・シアトル Google ソフトウェアエンジニア 岩尾 エマ はるか 5/5 AI(LLM)との共生と未来への展望#25-5 アメリカ・シアトル Google ソフトウェアエンジニア 岩尾 エマ はるか 5/5 AI(LLM)との共生と未来への展望 https://kaigaiiju.ch/episodes/25-5ゲスト: アメリカ・シアトル 7年目 Google ソフトウェアエンジニア 岩尾 エマ はるか大阪府出身。組み込み開発業務などを経て 2015年に Google に入社。現在は同社シアトルオフィスにて Google Cloud の SRE （Site Reliability Engineering：サイト信頼性エンジニアリング）チームに所属し、システムの信頼性向上、運用の自動化に取り組む。自身の夢でもあった円周率計算の世界記録を2019年と2022年に樹立した。趣味はゲームと旅行。移住の時の手続きをまとめたブログ https://seattle-life.hatenablog.com/概要: 前回に引き続きシアトル在住のゲスト・岩尾さんをお迎えし、大規模言語モデル（LLM) とのユニークな付き合い方や、英語学習における新たな課題、そして未来のキャリアプランについて掘り下げていきます。LLMとAIの違いについて、専門家ならではの視点から解説する岩尾さん。世間では「AI」と一括りにされがちな技術を、より具体的な「LLM」という言葉で捉えることの重要性を語ります。そして、多くのLLMが英語に最適化されている現状に触れ、**「言語帝国主義の最たるもの」**と皮肉を込めて表現する場面も。AI翻訳の進化が叫ばれる一方で、英語話者の方がより質の高い情報を得られるという現状への複雑な思いが垣間見えます。岩尾さんは、LLMを単なる情報収集ツールとしてだけでなく、「話し相手」として活用していると語ります。例えば、商品選びの最終決断やライトノベルのブレインストーミング、さらには個人的な悩みや愚痴の吐き出しまで、LLMが「最もらしいことを言う数式」であることを理解した上で、人間らしい感情を交えながら対話している様子は非常に興味深いものです。特に、ADHDの特性を持つ岩尾さんが、LLMとの対話を通じて「一歩踏み出す」ための後押しを得ているというエピソードは、AIの新たな可能性を示唆します。LLMとの対話は、岩尾さんの英語学習にも新たな刺激を与えているようです。LLMとのやり取りで遭遇する知らない単語を辞書で調べ、自身の英語力がさらに向上していると語ります。しかしその一方で、「いまだに知らない英語のエリアがあった」という現実に直面。数十年英語を学び続けてきたからこその、尽きない英語学習の奥深さと難しさを感じさせます。高校卒業時点での英語力に大きな差はなくとも、学習を継続することの重要性を強調し、学び続けることで英語力は年齢に関わらず伸び続けるというメッセージは、多くの学習者の励みとなるでしょう。エピソードの後半では、岩尾さんの今後のキャリア目標についても語られます。マネージャーではなくテックリードとしての昇進、そして博士号取得への意欲。「徳健財（徳を積んで健康で、たくましい経済力があれば何でもできる）」という出身高校の教育方針を掲げ、子どもの教育環境を整えるためにも経済力を高めたいという親としての思いも明かされます。キャリアの選択肢として博士号取得を検討する背景には、AI分野での専門性を高めたいという明確な目標や、学会での経験からくる「一目置かれたい」という素直な気持ちも。仕事、英語、子育て、そして自己実現…多岐にわたるテーマを、ユーモアと洞察に満ちた視点で語る岩尾さんの魅力が光るエピソードです。#25-5
2025-08-2532 minAIToday Live
AIToday LiveS07E75 - Zo bouw je effectieve LLM-applicatiesWillem Meints, Chief AI Architect bij Info Support, deelt zijn expertise over het bouwen van LLM-applicaties met Semantic Kernel. Als tienmalig Microsoft MVP Award-winnaar brengt hij waardevolle inzichten in de ontwikkeling van AI-gestuurde systemen. Willem's boek "Building Effective LLM Applications with Semantic Kernel" behandelt de uitdagingen en valkuilen bij het bouwen van goed functionerende LLM-applicaties. Hij beschrijft alternatieve teststrategieën voor taalmodellen en benadrukt het belang van een combinatie van regelgebaseerde en AI-gestuurde componenten.Semantic Kernel wordt uitgelegd als een flexibel raamwerk voor het bouwen van LLM-applicaties, geschikt voor grotere bedrijven met ontwikkelteams. Willem adviseert ee...
2025-08-2542 minData Science LG: 学び合う統計とデータサイエンス
Data Science LG: 学び合う統計とデータサイエンス#38 LLM研究：感情分析・安全保障から評価指標、そして未来へ w/ 関西大学大学院 博士後期課程 井下 敬翔さん【メッセージ募集】番組への質問やトークテーマのご提案、感想、ゲスト出演希望など、各種ご連絡は以下のフォームやX、Mailからお送り下さい。⁠https://forms.gle/xmNbRKFQJQxZoRKJ6⁠X：#DataScienceLGMail: nosparestudentcommunitypodcast@gmail.comDiscord: https://discord.gg/8d6T5syBTZ番組HP: https://secret-mat-72c.notion.site/Podcast-Data-Science-LG-188a9bc7146f803dbc3ad1ea95ad49dc?pvs=149【今回の内容】このエピソードでは、関西大学 大学院 博士後期課程の井下さんのLLM（大規模言語モデル）とその応用に関する研究について掘り下げます。LLM研究の3つの主要な方向性、特に井下さんが注力する「タスク特化」と「サービス応用」の領域を探ります。また、感情分析におけるLLMの活用と課題、従来のAIとの組み合わせ、国際関係・安全保障分野でのLLMのバイアス検出についても議論します。さらに、LLMの評価指標の進化と「LLM as a Judge」という概念、オープンモデルにおけるデータリークの問題、国産LLMの現状と国家安全保障上の重要性、そしてスモール言語モデル（SLM）の可能性にも触れます。番組後半では、リスナーからの質問に応え、井下さんご自身の大学院への飛び級経験のメリット・デメリット、そして研究者として社会で生き抜くために必要な非学術的スキルについてもお話しいただきました。【note】https://secret-mat-72c.notion.site/note-37-w-24aa9bc7146f806fa3b4d52b92bf6f67?source=copy_link【ゲスト】井下 敬翔 さん関西大学 大学院 商学研究科　商学専攻 博士後期課程HP：https://hip-snapdragon-86e.notion.site/Keito-Inoshita-43419e9e14ee40399585d1111e296ed9Researchmap：https://researchmap.jp/keito_inoshitaX：https://x.com/keito0data（@keito0data）研究分野Large Language Model (LLM)Sentiment AnalysisBias DetectionLLM in National SecurityAI Organizational Theory【出演者】◯酒井 彰筑波大学 博士課程Nospare Student Community 運営X: https://x.com/simplesho_clt?s=21LinkedIn: https://www.linkedin.com/in/ssakai0403/HP: https://shoshohh.github.io/ja/Spotify：https://open.spotify.com/show/44vHXFAzqV292YyRvI9cZ9?si=15ddbbe5fc2645acApple Podcast：https://podcasts.apple.com/jp/podcast/data-science-lg-学び合う統計とデータサイエンス/id1784394537YouTube：https://www.youtube.com/playlist?list=PLw4Xosv9MWswLAe7xMYa3ut4UoP0e9_DeAmazon Music：
2025-08-1648 minDevNTell
DevNTellEP. 180 - Unifying AI Model Access with LLM Gateway In this week's episode of DevNTell we'll be joined by Ismail (aka smakosh) and Luca who are the founders of LLM Gateway. LLM Gateway is an open-source API gateway for Large Language Models (LLMs) acting as a middleware between your applications and various LLM providers. Viewers of this DevNTell will see Ismail and Luca give us a talk about LLM Gateway, how and why it was built and how can you use it. — TIMESTAMPS (00:00) Intro (01:09) Meet the Founders: Ismail and Luca (04:07) Inspiration Behind LLM Gateway...
2025-08-1335 minRedwood Research Blog
Redwood Research Blog“Four places where you can put LLM monitoring” by Fabien Roger, Buck Shlegeris Subtitle: To wit: LLM APIs, agent scaffolds, code review, and detection-and-response systems. To prevent potentially misaligned LLM agents from taking actions with catastrophic consequences, you can try to monitor LLM actions - that is, try to detect dangerous or malicious actions, and do something about it when you do (like blocking the action, starting an investigation, …).1 But where in your infrastructure should your LLM monitor be implemented, and what team in your organization should own it? Historically, researchers have mostly focused on implementing monitoring inside the agent scaffold, which would mean that it would be ow...
2025-08-0915 minRedwood Research Blog
Redwood Research Blog“Four places where you can put LLM monitoring” by Fabien Roger, Buck Shlegeris Subtitle: To wit: LLM APIs, agent scaffolds, code review, and detection-and-response systems. To prevent potentially misaligned LLM agents from taking actions with catastrophic consequences, you can try to monitor LLM actions - that is, try to detect dangerous or malicious actions, and do something about it when you do (like blocking the action, starting an investigation, …).1 But where in your infrastructure should your LLM monitor be implemented, and what team in your organization should own it? Historically, researchers have mostly focused on implementing monitoring inside the agent scaffold, which would mean that it would be ow...
2025-08-0915 minLLM
LLMJulius: Beyond the Standard LLM PlaybookUnlike typical models, Julius integrates new approaches to reasoning and contextual memory. These advancements could redefine AI’s role. We discuss whether this signals the dawn of smarter AI systems. Try AI Box: ⁠⁠https://aibox.ai AI Chat YouTube Channel: https://www.youtube.com/@JaedenSchafer Join my AI Hustle Community: https://www.skool.com/aihustle/about See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.
2025-08-0908 minMacro Lab 總經實驗室
Macro Lab 總經實驗室EP28 | AI 自由還是枷鎖？開源 VS 閉源 LLM，哪條路才是未來？— SWOT 深度解析（AI 語音）Macro Lab | 總經實驗室 EP28 | AI 自由還是枷鎖？開源 VS 閉源 LLM，哪條路才是未來？— SWOT 深度解析（AI 語音） 本集《Macro Lab 總經實驗室》帶你從概念到策略，一次看懂開源與閉源大型語言模型（LLM）的核心差異──為何Meta 選擇開放，Google、OpenAI 與 Anthropic 則走商業化路線？我們用最實務的案例與最新SWOT分析，助你快速掌握各自優劣與風險，並在複雜市場中做出最佳選擇！ Chin 帶你進入 LLM 抉擇的核心對話：當「成本、隱私、性能、可定制化」彼此競合，企業和開發者該如何權衡？ 1️⃣ 開源LLM詳解 [0:49] Meta Llama、Hugging Face 社群生態自由度高 高透明度＋社群協作：可檢視偏見、快速迭代 免授權費×可重現研究，但需承擔資安與維護成本 2️⃣ 開源LLM SWOT分析 [1:14] Strengths：技術透明、成本靈活、社群驅動 Weaknesses：濫用風險、技術門檻、可持續性挑戰 Opportunities：監管合規優勢、邊緣運算應用 Threats：生態碎片化、商業變現限制 3️⃣ 閉源LLM詳解 [3:00] GPT 系列、Google Gemini、Claude 等商業模型 精選訓練資料＋企業級安全控管 API 即用體驗佳，但客製化彈性低、需信任供應商 4️⃣ 閉源LLM SWOT分析 [3:06] Strengths：專有技術壁壘、商業化效率、責任明確 Weaknesses：黑箱風險、供應商鎖定、透明度不足 Opportunities：多模態整合、垂直領域專用化 Threats：開源追趕、監管壓力上升 5️⃣ 未來趨勢與策略對比 [3:11] 混合模式崛起：開源基礎＋閉源增值服務 監管驅動開放：企業需保持透明與合規 選型關鍵：依場景、數據敏感度、團隊能力決策 🎯 為何一定要聽？ 全方位決策依據：結合 SWOT 與實務選型指標，助你從策略高度與落地層面雙管齊下 unisys.combusinessinsider.com 風險與對策掌握：學會如何利用 Reflection Prompts、Cognitive Scaffold 等設計強化 AI 應用中的安全與可靠性  🔔 立即收聽 → 訂閱 Macro Lab，解鎖更多 科技 × 經濟 × 社會 深度剖析！ 👍 按讚＋分享，加入 IG @amateur_economists ｜Medium｜每天早晨 10 分鐘，「通勤咖啡」帶你洞悉世界動能。 Macro Lab: Macroeconomics decoded for builders and doers—because the big picture drives better business. （對於本集討論的 SWОT 分析與研究報告，歡迎讀者深入原始文獻並提出交流！） Reference Mohammad et al. (2024) 《Exploring LLMs: A systema­tic review with SWOT analysis》 -- Hosting provided by SoundOn
2025-06-2613 minAIわくわくミニキャスト！
AIわくわくミニキャスト！LLM社会実装フェーズへ。データ覇権争いとセキュリティリスクが顕在化なのだ！ 2025年6月19日配信日: 2025年6月19日記事一覧:Claude 4.0とGoodfire Ember｜Anthropicが推進する解釈可能なAI戦略が企業のLLM導入を加速【要約】AnthropicはAIの「ブラックボックス問題」を解消し、企業LLM導入を加速する「解釈可能なAI」戦略を推進。Claude 4.0やGoodfire投資で透明なAI活用を促し、説明責任が求められる分野での企業競争力強化を目指す。三菱電機が2つの技術でエッジ動作可能なLLMを高精度化、2026年度にも製品適用へ - MONOist【要約】三菱電機は、エッジデバイス向けLLMを開発。知識獲得とタスク特化の学習で精度を大幅向上させ、オンプレミスでのLLM実行を実現。通信遅延・セキュリティ・コスト課題を解決し、2026年度の実用化を目指す。AIのモデルとインフラの選択肢を広げるvLLM--レッドハットのAI CTOに聞く可能性 - ZDNET Japan【要約】Red Hatは、オープンソースの推論ライブラリー「vLLM」がAIインフラの複雑化やコスト課題を解決すると発表。効率的なメモリー管理「PagedAttention」でLLMサービングの性能とコスト効率を改善し、多様なLLMやインフラをサポート。Googleアプリでの「AI Mode」、音声会話式検索の提供開始（米国で）【要約】Googleアプリで新機能「Search Live」（AI Modeの一部）が提供開始。AIとの音声会話による対話型検索が可能になり、質問への回答と関連リンクを生成。バックグラウンド継続やテキスト表示もでき、AI検索体験を強化。Archaic、日本語特化型RAGシステムAIを開発。製造業分野でトップクラスの正答率【要約】Archaicは、日本語業務文書に特化したRAGシステムAIを開発。図表含む複雑な文書構造を保持し、高精度な回答を生成。独自の文書解析エンジンで構造を理解し、製造業分野でトップクラスの正答率を記録。「構造理解型RAG」で実用性を実証。生成AIによる攻撃の「質」と「量」が増加Zscalerがフィッシングレポートを公開【要約】Zscalerレポートによると、AI活用によりフィッシング攻撃が巧妙化・増加。AIが生成する偽サイトやコンテンツで機密情報窃取が高度化している。従来の防御は不十分で、AIを防御にも活用した包括的なセキュリティ対策の重要性を強調。脳科学者・茂木健一郎、『LLMの知性定量化』で「テレンス・タオの賢さをどう測るのか」問題提起【要約】脳科学者・茂木健一郎氏は、LLMの知性定量化に疑問を呈し、AIが人間の脳の「ゆらぎ」や「身体性」といった複雑な特性には及ばない可能性を指摘。AI進化には限界があるとし、人間の脳の独自性の重要性を強調した。LLMにプロンプトのみで仮想的な強化学習を発生させる方法【要約】LLMがプロンプトのみで仮想的な強化学習を行い、自己改善する研究。人間が調整せずともフィードバックで賢くなる手法を模索し、「学びの力」を引き出すプロンプトの工夫を検証。LLMの使い勝手向上を目指す。Geminiを業務で使いこなす！Google Cloudが指南する「プロンプト入力」4つのポイントは？【要約】Google Cloudがビジネス向けGemini活用法を解説。プロンプト作成には役割・詳細・タスク・フォーマットの4要素が重要。「Gem」「Deep Research」「NotebookLM」機能を紹介し、AIは触って試すことがビジネス活用の第一歩と強調した。レガシーシステムの「塩漬け戦略」もアリ？AIエージェント時代のITシステム構成を考える【要約】AIエージェントが本格活用され、システム改修不要な可能性も。ツールを呼び出しタスク遂行する技術で、複数エージェント連携も。適切な指示が課題だが、レガシーシステムとの連携でデータ活用も進む。ITシステム開発を変革する可能性。OpenAI、スケールＡＩとの協業打ち切りへ－メタ巨額出資で判断 - NewsPicks【要約】OpenAIは、メタが実質支配したスケールAIとの協業を打ち切りへ。競合への機密情報漏洩リスクを懸念。Googleも同様の動きを見せており、AI開発競争において高品質データの確保と内製化戦略の重要性が高まっている。【7/16開催ウェビナー】LLM開発におけるGPUクラウドとオンプレの徹底比較！ ~独自LLMの開発秘話からGPUコストを削減するための具体的なポイントまで一挙大公開~【要約】アイスマイリーが7月16日に無料ウェビナー開催。LLM開発のGPUクラウドとオンプレミスを徹底比較し、コスト削減ポイントや独自LLM開発秘話を公開。GPU環境選択に悩むDX・AI開発部門向けに、最大70％コスト削減手法などを解説する。
2025-06-1909 minStudy for the Bar in Your Car
Study for the Bar in Your CarEvidence - Hearsay - Part 1Ready to decode the courtroom? Dive into "Evidence - Hearsay - Part 1," brought to you by "Study for the Bar in Your Car." Your hosts, Ma and Claude, unpack the often-confusing world of hearsay, using Angela’s incredibly detailed notes—the product of an LLM law student and former judicial law clerk. This episode is your essential guide to understanding the foundational definition of hearsay and, crucially, why it's generally inadmissible due to reliability concerns, the lack of oath, and the absence of cross-examination.We illuminate key categories of statements that are NOT hearsay at all, meaning you...
2025-06-1834 minStudy for the Bar in Your Car
Study for the Bar in Your CarEvidence - Relevancy and the Exclusion of EvidenceReady to unravel the intricacies of evidence law? Tune into "Study for the Bar in Your Car" episode three, "Relevancy and the Exclusion of Evidence", where hosts Ma and Claude, powered by the incredibly detailed notes of LLM law student and former judicial law clerk Angela, guide you through the fundamental principles that determine what information gets heard in court.This deep dive is your essential resource for understanding how the legal system filters information. We dissect the absolute baseline of relevancy—when evidence has any tendency to make a fact more or less probable and that fa...
2025-06-1538 minStudy for the Bar in Your Car
Study for the Bar in Your CarEvidence - Presentation of EvidenceReady to decode the courtroom? Dive into "Evidence - Presentation of Evidence," episode two of "Study for the Bar in Your Car," where hosts Ma and Claude (powered by Angela’s incredibly detailed notes as an LLM law student and former judicial law clerk) break down the crucial rules governing how information actually makes it before a judge and jury.This essential deep dive illuminates the foundational concepts that dictate witness testimony and evidence handling, offering you a shortcut to understanding the practical mechanics of a trial.You’ll uncover insights into:Witness Competency: The...
2025-06-1416 minStudy for the Bar in Your Car
Study for the Bar in Your CarEvidence - IntroductionAre you ready to master evidence law? Dive deep into the absolutely fundamental rules that dictate what information makes it into court with "Study for the Bar in Your Car." Your hosts, Ma and Claude, unpack the complexities of evidence using incredibly detailed notes generously provided by Angela, an LLM law student and former judicial law clerk. Angela, a real-life human being and former judicial law clerk who dealt with evidence issues constantly, contributed significantly to the material.This essential podcast acts as your shortcut to understanding the fundamental rules that shape how facts are determined in...
2025-06-1336 minElixir Wizards
Elixir WizardsLangChain: LLM Integration for Elixir Apps with Mark EricksenMark Ericksen, creator of the Elixir LangChain framework, joins the Elixir Wizards to talk about LLM integration in Elixir apps. He explains how LangChain abstracts away the quirks of different AI providers (OpenAI, Anthropic’s Claude, Google’s Gemini) so you can work with any LLM in one more consistent API. We dig into core features like conversation chaining, tool execution, automatic retries, and production-grade fallback strategies. Mark shares his experiences maintaining LangChain in a fast-moving AI world: how it shields developers from API drift, manages token budgets, and handles rate limits and outages. He also reveals test...
2025-06-1238 minVerbos: AI og Softwareudvikling
Verbos: AI og Softwareudvikling# 89 - LLM'er Lokalt I Browseren m. Rasmus Aagaard og Jakob Hoeg MørkI denne episode af Verbos Podcast diskuterer vært Kasper Junge de nyeste fremskridt inden for Large Language Models (LLM'er) og deres anvendelse i browseren med Rasmus Aagaard og Jakob Hoeg Mørk. De dækker emner som use cases, teknologier, udfordringer og fremtiden for LLM'er i browseren, samt hvordan udviklere kan komme i gang med at implementere disse modeller.Læs Rasmus Aagaards transformers.js tutorial her: https://rasgaard.com/posts/getting-started-transformersjs/Kapitler00:00 Introduktion til LLM'er i Browseren03:01 Erfaringer med LLM'er og Open...
2025-05-2957 minAI+Crypto FM
AI+Crypto FM【保存版】今さら聞けない！AIの成り立ち、LLM、RAG、AIエージェントの仕組みからその歴史まで　前編*ラスト音声が入っていなかったのでアップしなおしました！YouTubeはこちら：⁠https://youtu.be/6YTX2ofptEQkinjo ⁠https://x.com/illshin|⁠AKINDO : ⁠https://x.com/akindo_io⁠Kanazawa: ⁠https://x.com/k_another_wa⁠⁠AIエージェント時代を制する鍵：企業の最先端MCP活用事例LT【東京AI祭プレイベント】⁠⁠単なるメモから知的資産へー松濤Vimmer流 Obsidian in Cursorの知的生産システム⁠Chapters00:00 AIとクリプトの最新トレンド03:03 AIエージェントの仕組みと歴史06:05 AIイベントの紹介と参加方法09:00 AIの定義とその広がり12:04 AIブームの歴史と進化12:26 AIの歴史と進化14:50 ディープラーニングの登場17:04 データの重要性とAIの影響18:24 ヒントン教授とディープラーニングの発展20:16 機械学習とディープラーニングの違い25:41 大規模言語モデルの進化27:55 トランスフォーマーの仕組み30:06 トランスフォーマーのデータ処理31:59 パラメータと計算リソースの関係35:00 GPTの進化と実用性38:06 AIの限界と未来の可能性38:42 AIの限界と未来41:30 人間とAIの知性の違い44:49 オープンソースとクローズドモデルの違い49:57 オープンソースの意義と企業の戦略50:35 ブロックチェーンとトークンの価値51:38 日本語対応のAIモデルの課題52:59 日本のAI開発の現状54:45 オープンソースとAPIの選択肢56:00 GPUとAI企業の未来58:42 NVIDIAの技術的優位性01:00:45 AIモデルの性能比較01:02:48 次回のテーマとまとめ1. AIの基礎：そもそもAIって何？-AIの歴史-機械学習 vs. 深層学習の簡単な違い-LLM（大規模言語モデル）って何？ ChatGPTの裏側2.LLMの仕組みと進化Transformerとは？GPTシリーズの進化LLMのトレーニング方法と限界オープンソース/クローズドLLMLLMを作るには...
2025-05-291h 01AI+Crypto FM
AI+Crypto FM【保存版】今さら聞けない！AIの成り立ち、LLM、RAG、AIエージェントの仕組みからその歴史まで　前編YouTubeはこちら：https://youtu.be/5V4A_6fdDQokinjo https://x.com/illshin|AKINDO : https://x.com/akindo_ioKanazawa: https://x.com/k_another_waAIエージェント時代を制する鍵：企業の最先端MCP活用事例LT【東京AI祭プレイベント】単なるメモから知的資産へー松濤Vimmer流 Obsidian in Cursorの知的生産システム1. AIの基礎：そもそもAIって何？-AIの歴史-機械学習 vs. 深層学習の簡単な違い-LLM（大規模言語モデル）って何？ ChatGPTの裏側2.LLMの仕組みと進化Transformerとは？GPTシリーズの進化LLMのトレーニング方法と限界オープンソース/クローズドLLMLLMを作るには？LLMを使った実装とは3.RAGってなに？ なぜ注目されてる？・Retrieval-Augmented Generation の仕組み・LLMだけではなぜダメなのか？・検索＋生成のメリットと課題4.AIエージェントとは？・単なるチャットボットとの違い・メモリ・ツール・プランニング：エージェントの中身・AutoGPTやOpenAIのAgentsの事例紹介・web3文脈でのAIエージェントとの違い5.今後の発展について・ブロックチェーンとの融合・AGI、ASIが来る未来をどうみてる・AIが浸透していく時代の課題感・今年のAIの発展に期待していること
2025-05-281h 01Study for the Bar in Your Car
Study for the Bar in Your CarCivil Procedure - Bonus Episode - Essay QuestionsReady for a unique approach to bar exam practice? Dive into our bonus episode of Study for the Bar in Your Car! Angela, our LLM law student host, pushes the boundaries of bar prep by putting NCBE MEE Civil Procedure questions into AI and having it generate new, original questions based on the patterns.In this special episode, Angela shares and breaks down the first AI-generated essay question, focusing on the critical topic of Subject Matter Jurisdiction. Angela reads the challenging fact pattern involving complex issues of diversity and amount in controversy. Then, her AI...
2025-05-2729 minStudy for the Bar in Your Car
Study for the Bar in Your CarCivil Procedure - Wrap up and ReviewReady to conquer Civil Procedure? Join Ma and Claude on Study for the Bar in Your Car for a comprehensive wrap-up of this challenging but crucial subject! Drawing on Angela's detailed notes – informed by her LLM studies and experience as a judicial law clerk who saw these rules in action – this episode is your roadmap from the start of a lawsuit all the way through appeal. It focuses on what's critical for the bar exam and where pitfalls lie.We tackle the foundational building blocks you need to nail the bar and navigate litigation:Jurisdiction & Venue: Mast...
2025-05-2632 minBest AI papers explained
Best AI papers explainedAuto-Differentiating Any LLM Workflow: A Farewell to Manual PromptingThis document introduces LLM-AutoDiff, a novel framework for Automatic Prompt Engineering (APE) that aims to automate the challenging task of designing prompts for complex Large Language Model (LLM) workflows. By viewing these workflows as computation graphs where textual inputs are treated as trainable parameters, the system uses a "backward engine" LLM to generate textual gradients – feedback that guides the iterative improvement of prompts. Unlike previous methods that focus on single LLM calls, LLM-AutoDiff supports multi-component pipelines, including functional operations like retrieval, handles cycles in iterative processes, and separates different parts of prompts (like instructions and examples) into peer nodes fo...
2025-05-2319 minStudy for the Bar in Your Car
Study for the Bar in Your Car Civil Procedure - IntroductionLooking for a smart way to maximize your bar exam study time, especially on the go? Welcome to Study for the Bar in Your Car!Created by Angela, an LLM law student who feels like she's been studying forever, this podcast is designed to provide actual bar study content in an audio format. Tired of not finding resources for studying while driving or travelingIn this deep dive episode, your study companion focuses squarely on a foundational area critical for bar success: Civil Procedure. Think of this episode like a roadmap, covering the journey from...
2025-05-1937 minGenAI Level UP
GenAI Level UPRAG-MCP: Mitigating Prompt Bloat and Enhancing Tool Selection for LLMLarge Language Models (LLMs) face significant challenges in effectively using a growing number of external tools, such as those defined by the Model Context Protocol (MCP). These challenges include prompt bloat and selection complexity. As the number of available tools increases, providing definitions for every tool in the LLM's context consumes an enormous number of tokens, risking overwhelming and confusing the model, which can lead to errors like selecting suboptimal tools or hallucinating non-existent ones.To address these issues, the RAG-MCP framework is introduced. This approach leverages Retrieval-Augmented Generation (RAG) principles applied to tool selection. Instead of...
2025-05-1313 minInnovation on Arm
Innovation on ArmEP07 I 從雲端到邊緣：為何眾多開發者選擇在 Arm 架構上運行 LLM？隨著大型語言模型（LLM）的技術演進，開發者不再只能依賴雲端，越來越多人開始將 LLM 推論部署在高效能的 Arm 架構上。這一轉變的背後，是推論框架優化、模型壓縮與量化技術的進步。 本集節目將由來自 Arm 的 Principal Solutions Architect 深入淺出介紹什麼是 LLM? 各家基於 Arm Neoverse 架構導入 LLM 應用的雲端平台，包括 AWS Graviton、Google Cloud、Microsoft Azure等，同時也介紹了推動 LLM 生態發展的關鍵開源社群，例如 Hugging Face、ModelScope 等平台。此外，講者也分享了有趣的 use case。Arm 架構的優勢包括：高能效比、低總體擁有成本、跨平台一致性、以及提升資料隱私的本地運算能力，LLM on Arm 不再是遙遠的構想，已經正在發生，Arm 將是您雲端與邊緣部署的理想選擇! 此外，Arm 將在 COMPUTEX 2025 期間舉辦一系列活動，包括 Arm 前瞻技術高峰演講以及 Arm Developer Experience 開發者大會。 1. Arm 前瞻技術高峰演講 (地點：台北漢來大飯店三樓)： 2025 年 5 月 19 日下午 3 點至 4 點，Arm 資深副總裁暨終端產品事業部總經理 Chris Bergey 將親臨現場以「雲端至邊緣：共築在 Arm 架構上的人工智慧發展」為題，分享橫跨晶片技術、軟體開發、雲端與邊緣平台的最新趨勢與創新成果，精彩可期，座位有限，提早報到者還有機會獲得 Arm 與 Aston Martin Aramco F1 車隊的精美聯名限量贈品，歡迎立即報名！ Arm 前瞻技術高峰演講報名網址：https://reurl.cc/2KrR2X 2. Arm Developer Experience 開發者系列活動 (地點：台北漢來大飯店六樓；5/20 Arm Cloud AI Day 13:00-17:00、5/21 Arm Mobile AI Day 9:00-13:00)： Arm 首次將於2025 年 5/20-5/22 COMPUTEX 期間，為開發人員舉辦連續三天的系列活動，包括以下四大活動： A. 5/20 下午 13:00-17:00 以 Cloud AI 為主題的技術演講與工作坊： 部分議程包括； Accelerating development with Arm GitHub Copilot Seamless cloud migration to Arm Deploying a RAG-based chatbot with llama-cpp-python using Arm KleidiAI on Google Axion processors, plus live Q&A Ubuntu: Unlocking the Power of Edge AI B. 5/21 早上 9:00-13:00 以 Mobile AI 為主題的技術演講： 部分議程包括； Build next-generation mobile gaming with Arm Accuracy Super Resolution (ASR) Vision LLM inference on Android with KleidiAI and MNN Introduction to Arm Frame Advisor/Arm Performance Studio C. Arm 開發者小酌輕食見面會 ( 5/20 晚上 17:30-19:30) 我們將於 5/20舉辦開發者見面會！誠摯邀請您與 Arm 開發者專家當面交流！ D. 5/20-5/22 Arm Developer Chill Out Lounge ( 5/20-5/22 9:00- 17:00)： 為期三天，我們布置了舒適的休憩空間，讓您可以在輕鬆的環境與 Arm 開發者專家交流、觀看 Arm 產品展示、為您的裝置充電、進行桌遊以及休憩等。 無需報名，歡迎隨時來參觀。 席位有限，誠摯邀請您立即報名上述活動，報名者還有機會於現場抽中包括 Keychron K5 Max 超薄無線客製機械鍵盤，以及 AirPods 4 耳機等大獎喔！ 讓 Arm 協助您擴展雲端應用、提升行動裝置效能、優化遊戲等，助力您開發下一代 AI 解決方案！ Arm Developer Experience 開發者系列活動報名網址: https://reurl.cc/bWNo56 -- Hosting provided by SoundOn
2025-04-2331 minKabir\'s Tech Dives
Kabir's Tech DivesThe Next Token and Beyond: Unraveling the LLM EnigmaYes, I can certainly provide a long and detailed elaboration on the topics covered in the sources, particularly focusing on LLM-generated text detection and the nature of LLMs themselves.The emergence of powerful Large Language Models (LLMs) has led to a significant increase in text generation capabilities, making it challenging to distinguish between human-written and machine-generated content. This has consequently created a pressing need for effective LLM-generated text detection. The necessity for this detection arises from several critical concerns, as outlined in the survey. These include the potential for misuse of LLMs in spreading disinformation...
2025-04-1619 minSeventy3
Seventy3【第180期】LLM-AutoDiff：一个基于梯度的自动化提示工程Seventy3: 用NotebookLM将论文生成播客，让大家跟着AI一起进步。今天的主题是：LLM-AutoDiff: Auto-Differentiate Any LLM WorkflowSummaryThe provided research introduces LLM-AutoDiff, a novel framework for automating prompt engineering for complex Large Language Model workflows. This system extends gradient-based optimization to multi-step and cyclic LLM applications by treating textual inputs as trainable parameters. LLM-AutoDiff constructs a graph representing the workflow, enabling a "backward engine" LLM to generate feedback that guides iterative prompt improvements, even across functional nodes and repeated calls. The framework incorporates techniques like selective gradient computation and two-stage validation to enhance efficiency. Experimental results demonstrate that LLM-AutoDiff outperforms existing methods in accuracy and trainin...
2025-03-2920 min跨国串门儿计划
跨国串门儿计划#62: 图灵奖得主杨立昆：LLM永远无法实现真正的AI智能📝 本期播客简介本期节目邀请到Meta首席AI科学家、图灵奖得主Yann LeCun，由Alex Kantrowitz主持，深入探讨了当前AI发展的挑战与未来方向。LeCun以他犀利而坦率的风格指出，现有的大型语言模型(LLM)虽然在信息检索和复述方面表现优异，但缺乏真正的理解和创新能力。他认为，仅靠扩大LLM规模和增加数据量永远无法达到人类水平的智能，我们需要一个全新的AI架构范式。节目重点讨论了他的研究团队正在开发的JEPA技术框架，这是一种非生成式的联合嵌入预测架构，能够帮助AI系统在抽象层面上理解世界运作方式。此外，LeCun还分享了他对开源AI模型的看法，认为开源世界的创新速度正在超越专有模型。👨‍🔬 本期嘉宾Yann LeCun，Meta首席AI科学家，图灵奖得主，被誉为AI教父。他是深度学习领域的先驱，多年来致力于研发能够理解物理世界的AI系统。作为计算机视觉和机器学习领域的顶尖科学家，LeCun的研究对推动AI从基于文本的模型向能够理解和模拟物理世界的智能系统转变具有重要意义。⏱️ 时间戳00:00:00 节目介绍：跨国串门计划与本期内容概览00:01:12 大型语言模型的局限：LeCun认为LLM缺乏理解和创新能力00:02:03 嘉宾介绍：META首席AI科学家Yann LeCun00:03:03 AI的本质与大语言模型的区别：LLM主要功能是复述和检索00:04:56 科学发现与AI创新：为什么AI还没能做出科学发现00:07:05 推理与思维链条：LLM的推理能力局限性分析00:09:18 人类思维与AI思维的差异：人类在脑海中直接推理的能力00:10:52 LLM遇到的收益递减问题：模型已训练了上万亿个token00:12:10 系统一和系统二理论：意识思考与潜意识自动化的区别00:14:06 AI投资与技术发展时间线：投资是否值得的思考00:16:56 Meta的AI战略：预计到年底将拥有10亿Meta AI用户00:18:32 AI系统部署的实际困难：从演示到实用的挑战00:19:55 AI历史上的起伏：专家系统热潮的兴衰与教训00:22:24 物理世界理解实验：纸张和立方体的思考实验00:26:16 AI系统的物理学习能力：婴儿如何用有限数据学习物理规律00:31:19 视频生成系统的局限：为什么生成模型不等于理解世界00:32:35 自监督学习原理：破坏输入并训练重建它的过程00:35:36 JEPA技术框架介绍：非生成式的联合嵌入预测架构00:40:12 开源AI模型的优势：DeepSeek等开源模型的快速创新00:43:21 节目结束与告别🌟 精彩内容大型语言模型的局限性: LeCun详细解释了LLM虽然在信息检索方面很强，但缺乏真正的理解能力和创新思维，无法像人类那样提出创新问题JEPA技术框架: LeCun介绍了他团队正在开发的非生成式联合嵌入预测架构，能够帮助AI系统在抽象层面理解世界运作方式AI对物理世界的理解: 通过纸张和立方体的实验，LeCun展示了当前AI系统对物理世界理解的局限数据量与智能的关系: LeCun计算出4岁儿童接收的视觉数据量与最大LLM训练数据量相当，但儿童的物理理解能力远超AI开源vs专有模型: LeCun认为开源世界的创新速度更快，全球各地的优秀科学家共同推动技术进步🌐 播客信息补充翻译克隆自：Why Can't AI Make Its Own Discoveries? — With Yann LeCun本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的使用 AI 进行翻译，因此可能会有一些地方不通顺如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight 备注跨门串门儿计划 加听友群BGM: 月代彩 - Chandrasekhar Limit  侵删
2025-03-2443 minHuggingFace 每日AI论文速递
HuggingFace 每日AI论文速递2025.02.21 | AI代理评估新框架，LLM学科表现差异显著。本期的 20 篇论文如下：[00:26] 🧠 MLGym: A New Framework and Benchmark for Advancing AI Research Agents（MLGym：推进AI研究代理的新框架与基准）[01:18] 📚 SuperGPQA: Scaling LLM Evaluation across 285 Graduate Disciplines（SuperGPQA：扩展LLM评估至285个研究生学科）[02:04] 🌐 SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features（SigLIP 2：多语言视觉-语言编码器的语义理解、定位与密集特征改进）[02:52] 🧠 How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM?（在不损害大型语言模型的情况下，LoRA适配器能容纳多少知识？）[03:49] 🚀 S*: Test Time Scaling for Code Generation（S*：代码生成中的测试时间缩放）[04:35] ⏳ Does Time Have Its Place? Temporal Heads: Where Language Models Recall Time-specific Information（时间是否有其位置？时间头：语言模型如何回忆时间特定信息）[05:28] 📄 LongWriter-V: Enabling Ultra-Long and High-Fidelity Generation in Vision-Language Models（LongWriter-V：在视觉-语言模型中实现超长和高保真生成）[06:17] 🧠 Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning（逻辑-RL：通过基于规则的强化学习释放LLM推理能力）[07:13] 🖥 PC-Agent: A Hierarchical Multi-Agent Collaboration Framework for Complex Task Automation on PC（PC-Agent：一种用于复杂任务自动化在PC上的分层多智能体协作框架）[08:07] 🧠 S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning（S$^2$R...
2025-02-2218 minDaily Paper Cast
Daily Paper CastAutellix: An Efficient Serving Engine for LLM Agents as General Programs 🤗 Upvotes: 15 | cs.LG, cs.AI, cs.DC Authors: Michael Luo, Xiaoxiang Shi, Colin Cai, Tianjun Zhang, Justin Wong, Yichuan Wang, Chi Wang, Yanping Huang, Zhifeng Chen, Joseph E. Gonzalez, Ion Stoica Title: Autellix: An Efficient Serving Engine for LLM Agents as General Programs Arxiv: http://arxiv.org/abs/2502.13965v1 Abstract: Large language model (LLM) applications are evolving beyond simple chatbots into dynamic, general-purpose agentic programs, which scale LLM calls and output tokens to help AI agents reason, explore, and solve complex tasks. However, existing LLM serving systems ign...
2025-02-2122 minDaily Paper Cast
Daily Paper CastCan 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling 🤗 Upvotes: 71 | cs.CL Authors: Runze Liu, Junqi Gao, Jian Zhao, Kaiyan Zhang, Xiu Li, Biqing Qi, Wanli Ouyang, Bowen Zhou Title: Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling Arxiv: http://arxiv.org/abs/2502.06703v1 Abstract: Test-Time Scaling (TTS) is an important method for improving the performance of Large Language Models (LLMs) by using additional computation during the inference phase. However, current studies do not systematically analyze how policy models, Process Reward Models (PRMs), and problem difficulty influence TTS. This lack of analysis limits the und...
2025-02-1222 minBliskie Spotkania z AI
Bliskie Spotkania z AI#11 GenAI i LLM - Wszystko, co musisz wiedzieć, zanim zaczniesz działać | Mariusz KorzekwaNie uczysz się AI? Spokojnie, AI już uczy się, jak Cię zastąpić!🔔 Subskrybuj, aby nie przegapić nowych odcinków!Tym razem moim gościem jest Mariusz Korzekwa, ekspert od #AI specjalizujący się w #promptEngineeringu i integracjach z #LLM-ami.W tym odcinku rozmawiamy o modelach językowych (LLM) i ich zastosowaniach w sztucznej inteligencji. Poruszamy temat generative AI, omawiając jego definicję oraz kluczowe różnice między LLM a klasyczną AI. Analizujemy znaczenie multimodalności, a także roli inputu i outputu w kontekście działania...
2025-02-112h 40Daily Paper Cast
Daily Paper CastPreference Leakage: A Contamination Problem in LLM-as-a-judge 🤗 Upvotes: 25 | cs.LG, cs.AI, cs.CL Authors: Dawei Li, Renliang Sun, Yue Huang, Ming Zhong, Bohan Jiang, Jiawei Han, Xiangliang Zhang, Wei Wang, Huan Liu Title: Preference Leakage: A Contamination Problem in LLM-as-a-judge Arxiv: http://arxiv.org/abs/2502.01534v1 Abstract: Large Language Models (LLMs) as judges and LLM-based data synthesis have emerged as two fundamental LLM-driven data annotation methods in model development. While their combination significantly enhances the efficiency of model training and evaluation, little attention has been given to the potential contamination brought by this new...
2025-02-0521 minAI可可AI生活
AI可可AI生活AI前沿：LLM免训练能看会听、让AI对话更自然本期播客精华汇总： [CV] LLMs can see and hear without any training (大语言模型无需任何训练就能看会听):  Meta AI 提出 Multimodal Iterative LLM Solver (MILS) 框架，无需训练即可赋予 LLM 多模态能力，利用 LLM 的推理能力和现成的多模态模型，实现零样本多模态学习，并在多种任务上取得 SOTA 结果。核心创新在于无需训练和利用 LLM 涌现能力。 [CL] Beyond Turn-taking：Introducing Text-based Overlap into Human-LLM Interactions (超越轮流发言：在人与大模型交互中引入文本重叠):  Sungkyunkwan University & Google DeepMind 研究人员提出在人机文本交互中引入文本重叠机制，模仿自然人际对话。开发 OverlapBot 原型，用户研究表明重叠机制提升了沟通性、沉浸感和互动速度。核心创新在于突破传统轮流模式，提升人机对话自然性。 [LG] Joint Learning of Energy-based Models and their Partition Function (基于能量的模型及其配分函数的联合学习): Google DeepMind 提出联合学习能量模型及其配分函数的新框架，解决 EBMs 配分函数难以计算的问题。提出 Min-Min 优化公式和双重随机梯度下降算法，无需 MCMC 即可训练，并在多标签分类和标签排序任务上验证有效性。核心创新在于联合学习配分函数和无需 MCMC。 [LG] Diverse Preference Optimization (多样化偏好优化): Meta 提出 Diverse Preference Optimization (DivPO) 方法，解决 LLM 后训练阶段多样性坍缩问题。DivPO 在偏好优化中引入多样性考量，选择高质量但不太常见的回复作为优选样本，显著提升生成内容多样性，同时保持质量。核心创新在于偏好优化中引入多样性考量。 [LG] Think Smarter not Harder：Adaptive Reasoning with Inference Aware Optimization (更聪明而不是更努力地思考：基于推算感知优化的自适应推理): MetaAI 提出 Inference Budget-Constrained Policy Optimization (IBPO) 算法，让 LLM 具备推理预算意识，根据问题难度自适应调整推理长度。IBPO 在 MATH500 数据集上显著提升了受控推理预算下的性能，核心创新在于推理预算约束和自适应推理长度。完整推介：https://mp.weixin.qq.com/s/1JVAk0_nICg6QOhjvQGPJA
2025-02-0115 minAI Engineering Podcast
AI Engineering PodcastOptimize Your AI Applications Automatically With The TensorZero LLM GatewaySummaryIn this episode of the AI Engineering podcast Viraj Mehta, CTO and co-founder of TensorZero, talks about the use of LLM gateways for managing interactions between client-side applications and various AI models. He highlights the benefits of using such a gateway, including standardized communication, credential management, and potential features like request-response caching and audit logging. The conversation also explores TensorZero's architecture and functionality in optimizing AI applications by managing structured data inputs and outputs, as well as the challenges and opportunities in automating prompt generation and maintaining interaction history for optimization purposes.AnnouncementsHello...
2025-01-221h 03Seventy3
Seventy3【第96期】AsyncLM：异步LLM函数调用Seventy3: 用NotebookLM将论文生成播客，让大家跟着AI一起进步。今天的主题是：Asynchronous LLM Function CallingSummaryThis research paper introduces AsyncLM, a system designed to enhance the efficiency of Large Language Models (LLMs) by enabling asynchronous function calls. Unlike current synchronous methods where LLMs block while awaiting function execution, AsyncLM allows concurrent operation, significantly reducing task completion latency. This is achieved through an interrupt mechanism that notifies the LLM when functions complete, along with a novel domain-specific language (CML) and a fine-tuning strategy to handle this asynchronous interaction. The paper presents empirical evidence demonstrating substantial latency reduction and maintains accuracy, even suggesting extensions for novel human...
2025-01-0416 minLLM
LLMAlpha Alpha's $500 Million Challenge In this episode, Jaeden Schafer discusses the challenges faced by Alpha Alpha, a German LLM that raised $500 million but struggles to compete with giants like OpenAI and Anthropic. The conversation explores Alpha Alpha's innovative beginnings, their pivot towards enterprise-focused AI solutions, and the competitive landscape of the AI industry. My Podcast Course: ⁠https://podcaststudio.com/courses/⁠ Get on the AI Box Waitlist: ⁠⁠⁠https://AIBox.ai/⁠⁠⁠ Join my AI Hustle Community: ⁠https://www.skool.com/aihustle/about⁠ See Privacy Policy at https://art19.com...
2024-12-1409 minLouise Ai agent - David S. Nishimoto
Louise Ai agent - David S. NishimotoThe next generation of llm for ai agent will need better understanding of context To improve an LLM's ability to understand context more effectively, several key enhancements and advancements would be necessary. 1. Enhanced Memory and Attention Mechanisms: Implementing more sophisticated memory and attention mechanisms within the LLM could allow it to retain and recall contextual information more effectively. By giving the model the ability to focus on relevant details and remember them throughout the text generation process, it can better understand the context in which certain information is presented. 2. Multi-Modal Learning: Integrating multi-modal learning capabilities into the LLM would enable it...
2024-12-0300 minBiznes Myśli
Biznes MyśliBM132: LLM i prawo, możliwości, wyzwania, narzędziaCzy duże modele językowe (LLM) to rewolucja, czy zagrożenie dla prawników? W tym odcinku przybliżam możliwości dużych modeli językowych (LLM) w automatyzacji procesów prawnych, tworzeniu dokumentów, tłumaczeniach prawniczych i compliance. To, co wydaje się przyszłością, dzieje się już teraz – ale czy to na pewno oznacza koniec klasycznego prawa?Partnerem podcastu jest DataWorkshop.🎯 W tym odcinku dowiesz się:- Jak LLM może wspierać pracę prawników- Jakie są praktyczne zastosowania AI w prawie- Dlaczego człowiek pozostanie kluczowym elementem procesu
2024-11-0658 minBiznes Myśli
Biznes MyśliBM131: Praktyczny LLMCzy cały szum wokół LLM to tylko marketingowa bańka? 🤔  Choć szum wokół LLM powoli cichnie, ich prawdziwy potencjał  LLM dopiero się ujawnia. Kluczem do sukcesu nie jest ślepe podążanie za trendami, ale świadome i ustrukturyzowane podejście, oparte na zrozumieniu zarówno możliwości, jak i ograniczeń tych modeli. W tym odcinku podcastu Biznes Myśli kontynuję wątek o praktycznym zastosowania LLM w biznesie.Partnerem podcastu jest DataWorkshop.Dowiesz się:- Czym różni się myślenie specjalisty od ML od programisty i dlaczego to kluczowe w pracy z LLM?- Jakie są największe wyzw...
2024-10-231h 03What’s the BUZZ? — AI in Business
What’s the BUZZ? — AI in BusinessRed-Teaming And Safeguards For LLM Apps (Guest: Steve Wilson)In this episode, Steve Wilson (Co-Lead OWASP Top 10 for LLM Apps & Author) and Andreas Welsch discuss red-teaming and safeguards for LLM applications. Steve shares his insights how Generative AI vulnerabilities have evolved from embarrassing to financially risky and provides valuable advice for listeners looking to improve the security of their Generative AI applications.Key topics:- One year after OWASP Top 10 for LLM apps, how have LLM security and vulnerabilities evolved?- How do you build Generative AI safeguards into your app? What’s the impact on cost for checking and regenerating output?
2024-10-0727 minMLOps.community
MLOps.communityMaking Your Company LLM-native // Francisco Ingham // #266Francisco Ingham, LLM consultant, NLP developer, and founder of Pampa Labs.Making Your Company LLM-native // MLOps Podcast #266 with Francisco Ingham, Founder of Pampa Labs.// AbstractBeing an LLM-native is becoming one of the key differentiators among companies in vastly different verticals. Everyone wants to use LLMs, and everyone wants to be on top of the current tech, but what does it really mean to be LLM-native?LLM-native involves two ends of a spectrum. On the one hand, we have the product or service that the company offers, which s...
2024-10-0657 min共识粉碎机
共识粉碎机讨论会03|LLM保险销售(对谈暖哇莫子皓）大家好，欢迎来到共识粉碎机AI颠覆软件讨论会系列的第三期播客！本篇播客讨论于9月初，距今只有1个月时间，但莫子皓老师仍然说有了很大的变化。共识粉碎机是AI圈的老社群了，从去年3月份开始我们就坚持举办AI颠覆软件讨论会系列，最近也开始同步播客信息！与过去大家听到的AI播客不同，我们同时会讨论场景、应用，也会直接进入到技术细节。讨论节奏会非常快速，信息量非常密集，相信每一期对于听众都是一次信息大爆炸。【本期嘉宾】莫子皓：互联网保险暖哇科技合伙人欢迎关注莫子皓老师的公众号《过程即奖励》，以及莫子皓老师的文章《Workflow Based 企业内部大模型落地 Roadmap》【共识粉碎机主持人】周默：共识粉碎机公众号主理人，前美元对冲基金投资人，前腾讯/微软战略与投资经理。共识粉碎机目前也承接投研咨询合作与AI战略转型/大模型技术落地项目，欢迎戳公众号了解。同时我们的新书《大模型启示录》也上架啦，欢迎戳这里购买【参考资料】本期的内容已经抽取成文字纪要，请查阅共识粉碎机公众号的文章：《EP20：非常好的LLM保险销售案例(对谈暖哇)》【本期内容】本次讨论主要围绕LLM保险销售，有特别多的落地细节，从企业微信落地到电销落地。以下是我们聊得：00:01:06 莫子皓与暖哇介绍00:03:47 Sales Agent与Copilot00:06:59 企业微信LLM销售：用户生命周期的产品设计00:09:29 企业微信LLM销售：群发前的服务Agent00:10:55 企业微信LLM销售：为什么拆生命周期00:12:38 企业微信LLM销售：完成闭环00:15:04 企业微信LLM销售：是否需要线索分层00:17:03 企业微信LLM销售：拆SOP00:19:38 企业微信LLM销售：SOP用不同大模型00:23:01 行业Knowhow的意义00:24:24 怎么做SFT数据标注00:31:02 数据标注的人工要求00:37:25 企业微信LLM销售：ROI00:43:16 行业Knowhow公司vs标准化SaaS公司00:46:05 电销vs企业微信00:48:38 电销LLM销售：延迟与座席反应速度00:50:08 电销LLM销售：实现情况00:53:00 电销LLM销售：关单率与时间节省00:57:57 电销vs客服00:59:12 电销LLM销售：提升方向01:01:14 电销LLM销售：延迟解决方法01:05:15 行业横向拓展：保险内与保险外01:14:04 LLM销售产品落地会有打磨期吗01:16:48 未来的预期01:20:20 QA环节：数据标注能否使用第三方01:22:00 QA环节：不同SOP模型会合并成一个模型吗
2024-09-251h 23Biznes Myśli
Biznes MyśliBM128: Czy warto inwestować LLM? Czy w klasyczny ML?Czy sztuczna inteligencja zastąpi klasyczne uczenie maszynowe? Dowiedz się, jak skutecznie wykorzystać obie technologie w biznesie!✔ Subskrybuj kanał: / https://www.youtube.com/@DataWorkshop?sub_confirmation=1👍 Zostaw like!❗Obserwuj mnie na LinkedIn https://www.linkedin.com/in/vladimiralekseichenko📢 Poleć ten podcast znajomym zainteresowanym praktycznym wykorzystaniem AI w biznesie! Przedstawiam różne perspektywy, dzieli się osobistymi doświadczeniami i analizuję, jak te technologie mogą wspierać decyzje biznesowe. W tym odcinku dowiesz się:• Jakie są kluczowe różnice między LLM a klasycznym ML?• Kiedy warto inwestować w LLM, a kiedy lepiej stosować tradycyjne podejśc...
2024-09-1159 minResilient Cyber
Resilient CyberResilient Cyber w/ Steve Wilson - Securing the Adoption of GenAI & LLM'sIn this episode we sit down with GenAI and Security Leader Steve Wilson to discuss securing the explosive adoption of GenAI and LLM's. Steve is the leader of the OWASP Top 10 for LLM's and the upcoming book The Developer's Playbook for LLM Security: Building Secure AI Applications-- First off, for those not familiar with your background, can you tell us a bit about yourself and what brought you to focusing on AI Security as you have currently?- Many may not be familiar with the OWASP LLM Top 10, can you tell...
2024-08-2828 minСтартап-секреты с Дмитрием Беговатовым
Стартап-секреты с Дмитрием БеговатовымБизнес на ИИ #7: Нейросети для рекламы – Роман Нестер (Arteus LLM, Segmento)⚡️Ранний доступ к базе знаний и чату про ИИ-стартапы – https://startupsecrets.ru/ai/🔹Подписывайся на подкаст в Телеграм: https://t.me/podcaststartup🙌Спец-сезон создается при поддержке Yandex Cloud.***Роман Нестер – сооснователь проектов Segmento (продан Сберу в 2019 году) и Arteus LLM.Роман рассказал про свой опыт запуска ИТ-бизнеса в 2011 году, развитие проекта в российского Единорога, его продажу Сберу за несколько миллиардов рублей. Про рекламный рынок тогда и сейчас, про технологии тогда и сейчас, создание и развитие команды, продажи в стартапе и подводные камни бизнеса на нейросетях.***Тайм-коды:Знакомство с гостем. Роман Нестер продал Segmento за пару миллиардов и создал с партнерами Arteus LLM2:36 Рома, ты миллиардер? 6:47 Рынок рекламных технологий и стартапы13:22 Как стартапу конкурировать с Google и Яндекс18:17 Что помогло Роме продать свой стартап дороже на 1 миллиард20:16 Как Рома привлекал деньги от Сбера и МТС. Корпоративные менеджеры против стартаперов25:27 Рынок ИИ-технологий за последние 10, 20 лет33:50 Почему не надо делать SaaS, а B2B лучше, чем B2C49:39 Как бизнес внедряет ИИ. Рома про свой новый стартап Arteus LLM57:44 «Поезд ушел» – Рома про создание собственных LLM59:32 Какие специалисты нужны в команде ИИ-стартапа1:05:19 Как создавалась первая версия Arteus LLM1:07:36 Сколько денег потратили на стартап1:09:15 Рома про LLM first подход к команде стартапа 1:10:59 Почему Рома стартовал проект с российского рынка1:13:23 Чего Рома ждет от Arteus LLM как основатель1:16:21 Продуктивность команды – главная метрика стартапа1:19:17 Главный секрет успеха стартапа от Ромы
2024-08-271h 21Biznes Myśli
Biznes MyśliBM126: RAG w LLM: Dlaczego popularne rozwiązania to droga donikąd?RAG w LLM: Dlaczego popularne rozwiązania to droga donikąd?Problem: Tradycyjne podejście do RAG (Retrieval-Augmented Generation) w dużych modelach językowych (LLM), choć obiecujące w teorii, często zawodzi w praktyce. Sztuczne dzielenie danych na fragmenty (chunki) prowadzi do utraty kontekstu i generowania niespójnych, a nawet błędnych odpowiedzi.Przyczyny:-- Mechaniczne dzielenie tekstu: Tradycyjne metody dzielą dane na chunki na podstawie liczby znaków, ignorując semantykę i kontekst. To prowadzi do utraty sensu i generowania chaotycznych odpowiedzi.- Nadmierne poleganie na embeddingu: Choć embedding jest potężnym narzędziem, ni...
2024-08-1458 minMLOps.community
MLOps.communityReliable LLM Products, Fueled by Feedback // Chinar Movsisyan // #251Chinar Movsisyan is the co-founder and CEO of Feedback Intelligence (formerly Manot), an MLOps startup based in San Francisco. She has been in the AI field for more than 7 years, from research labs to venture-backed startups.Reliable LLM Products, Fueled by Feedback // MLOps Podcast #250 with Chinar Movsisyan, CEO of Feedback Intelligence.// AbstractWe live in a world driven by large language models (LLMs) and generative AI, but ensuring they are ready for real-world deployment is crucial. Despite the availability of numerous evaluation tools, many LLM products still struggle to make...
2024-07-3049 minMachine Learning Tech Brief By HackerNoon
Machine Learning Tech Brief By HackerNoonIntroducing LLM Sandbox: Securely Execute LLM-Generated Code with Ease This story was originally published on HackerNoon at: https://hackernoon.com/introducing-llm-sandbox-securely-execute-llm-generated-code-with-ease. LLM Sandbox: a secure, isolated environment to run LLM-generated code using Docker. Ideal for AI researchers, developers, and hobbyists. Check more stories related to machine-learning at: https://hackernoon.com/c/machine-learning. You can also check exclusive content about #llm, #langchain, #llamaindex, #ai-agent, #llm-sandbox, #ai-development, #ai-tools, #code-interpreter, and more. This story was written by: @vndee. Learn more about this writer by checking @vndee's about page, and for more stories, please visit hackernoon.com. LLM Sandbox is a lightweight and portable environment designed...
2024-07-1303 minTech Stories Tech Brief By HackerNoon
Tech Stories Tech Brief By HackerNoonYaFSDP - An LLM Training Tool That Cuts GPU Usage by 20% - Is Out Now This story was originally published on HackerNoon at: https://hackernoon.com/yafsdp-an-llm-training-tool-that-cuts-gpu-usage-by-20percent-is-out-now. YaFSDP is an open-source tool that promises to revolutionize LLM training. Check more stories related to tech-stories at: https://hackernoon.com/c/tech-stories. You can also check exclusive content about #llm-fine-tuning, #llm-optimization, #llm-training, #gpu-utilization, #what-is-yafsdp, #open-source-tools, #good-company, #imporve-llm-training, and more. This story was written by: @yandex. Learn more about this writer by checking @yandex's about page, and for more stories, please visit hackernoon.com. YaFSDP is an open-source tool that promises to revolutionize LLM training. In a pre-training scenario involving...
2024-06-2306 minALL STAR SAAS PODCAST
ALL STAR SAAS PODCASTスタートアップにおけるPMMとAI×SaaSの可能性〜LayerX AI・LLM事業部 小林 誉幸〜今回はLayerXのLLM事業部の小林さんをゲストにお迎えし、PMとしてのキャリア形成に加え、昨今のAI・LLMの発展についてのポイントをお届けします。日本銀行・シンクタンクを経て、なぜSaaS企業に関心を持ったのか。弁護士ドットコムの執行役員に至るまでのキャリア形成について。そしてLayerXでのLLM事業部ではどのような戦略でプロダクト開発を行っているのかなど深掘りの内容が盛りだくさんとなっております。ハイライト日銀→シンクタンク→SaaS企業というキャリアの深掘り日銀時代に感じた、マクロ視点での日本のスタートアップの課題弁護士ドットコムでの執行役員へのプロモーションの背景PMM組織・プロダクト開発に携わる上で重要視していたことLayerXとAI・LLM事業部の関係や期待されていることAI・LLM事業部に力を入れている背景や技術的な革新性をどのように感じられているか昨今のLLMを取り巻くトレンド、事業部でのホットトピックス文系出身のAIプロダクトのPMキャリアPMMというキャリアの広がりや可能性プロフィール小林 誉幸 LayerX AI・LLM事業部（@yuki_koba8）東京大学法学部卒業後、日本銀行に入行し、経済調査や政府統計、決済制度の企画立案などに携わる。三菱UFJリサーチ&コンサルティングでの戦略コンサルタントを経て、2020年に弁護士ドットコム入社。クラウドサインを担当する執行役員として事業戦略やプロダクトマーケティングを管掌。 2023年12月にAI・LLM事業の立ち上げメンバーとしてLayerXに入社。
2024-06-1946 min知識衝浪 Knowledge Surfing
知識衝浪 Knowledge SurfingEP60.【知識衝浪｜中堅份子系列】 LLM 與 AI 研究員的養成手冊 ft.聯發創新基地 YC最近，Google 和 OpenAI 之間的 AI 大戰打得越來越激烈，而背後決定勝敗的關鍵技術，就是比誰的大語言模型（LLM）最聰明、最好聊、反應更快。只是，過去你我熟悉的 LLM，大多來自海外科技巨頭，事實上，台灣也有不少業者正在研發在地繁中 LLM，聯發科旗下的聯發創新基地（MediaTek Research）就是其中的代表。這一集，我們邀請到聯發創新基地資深機器學習研究員 —— 陳宜昌 YC，挑戰用最白話的方式分享 LLM 到底是什麼，以及作為一名 AI 研究員的日常。 本集踏浪指南 🌊   🚀 LLM 如何從文字接龍進化到能「推理」？ 🧠 打造繁中 LLM —— Breeze & BreeXe 📖 大語言模型 vs 多模態模型 📱 怎麼把 LLM 裝進手機裡？ 🤯 AI 研究員的讀 Paper 與推理日常 👍 訓練 LLM，何謂「好資料」、「壞資料」 👨‍💻 YC 個人職涯分享，從物理系到自學 AI ＊本集內容皆非投資建議，投資前應謹慎研究、評估風險 Powered by Firstory Hosting
2024-05-2341 minÜrün Odaklı Mühendis
Ürün Odaklı MühendisYerli ve Milli LLM Çalışmaları! Trendyol ve Commencis LLMÜlkemizdeki LLM çalışmalarıyla ilgili son durumu aktardım. İyi seyirler. Video tercih edenler için: https://youtu.be/sLS2uzjDkuc Yapay zeka ve teknoloji gelişmeleri için abone olmayı unutmayın! Trendyol LLM: https://huggingface.co/Trendyol Commencis LLM: https://huggingface.co/Commencis/Commencis-LLM FinLLM'ler: https://arxiv.org/abs/2402.02315 Bölümler 00:00 Giriş 00:22 LLM nedir? 01:15 Ülkemizde LLM 01:24 Trendyol LLM 02:01 Commencis LLM 02:46 Yatırım tavsiyeleri LLM’ler yani Büyük Dil Modelleri (Large Language Model), genellikle büyük miktarda metin verisi üzerinde eğitilmiş yapay zeka sistemlerini ifade eder. Bu modeller, doğal dil işleme (NLP) görevlerinde ku...
2024-05-1305 minThe MLSecOps Podcast
The MLSecOps PodcastEvaluating RAG and the Future of LLM Security: Insights with LlamaIndexSend us a textIn this episode of the MLSecOps Podcast, host Neal Swaelens, along with co-host Oleksandr Yaremchuk, sit down with special guest Simon Suo, co-founder and CTO of LlamaIndex. Simon shares insights into the development of LlamaIndex, a leading data framework for orchestrating data in large language models (LLMs). Drawing from his background in the self-driving industry, Simon discusses the challenges and considerations of integrating LLMs into various applications, emphasizing the importance of contextualizing LLMs within specific environments.The conversation delves into the evolution of retrieval-augmented generation (RAG) techniques and the future trajectory...
2024-04-2331 minLLM
LLMThe LLM Project: Apple's Vision for AI ToolsExplore Apple's visionary approach to AI-integrated tools through their innovative LLM project, offering a glimpse into the future of technology. Get on the AI Box Waitlist: https://AIBox.ai/Join our ChatGPT Community: https://www.facebook.com/groups/739308654562189/Follow me on Twitter: https://twitter.com/jaeden_ai See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.
2024-04-0511 minTech Frontier
Tech FrontierST-LLM: Large Language Models Are Effective Temporal LearnersLarge Language Models (LLMs) have showcased impressive capabilities in text comprehension and generation, prompting research efforts towards video LLMs to facilitate human-AI interaction at the video level. However, how to effectively encode and understand videos in video-based dialogue systems remains to be solved. In this paper, we investigate a straightforward yet unexplored question: Can we feed all spatial-temporal tokens into the LLM, thus delegating the task of video sequence modeling to the LLMs? Surprisingly, this simple approach yields significant improvements in video understanding. Based upon this, we propose ST-LLM, an effective video-LLM baseline with Spatial-Temporal sequence modeling inside LLM...
2024-04-0303 minThe New Stack Podcast
The New Stack PodcastLLM Observability: The BreakdownLLM observability focuses on maximizing the utility of larger language models (LLMs) by monitoring key metrics and signals. Alex Williams, Founder and Publisher for The New Stack, and Janikiram MSV, Principal of Janikiram & Associates and an analyst and writer for The New Stack, discusses the emergence of the LLM stack, which encompasses various components like LLMs, vector databases, embedding models, retrieval systems, read anchor models, and more. The objective of LLM observability is to ensure that users can extract desired outcomes effectively from this complex ecosystem.Similar to infrastructure observability in DevOps and SRE practices, LLM observability...
2024-03-2825 minNew Paradigm: AI Research Summaries
New Paradigm: AI Research SummariesA Summary of 'LLM Agent Operating System'This is a summary of the AI research paper: LLM Agent Operating System Available at: https://arxiv.org/abs/2403.16971 This summary is AI generated, however the creators of the AI that produces this summary have made every effort to ensure that it is of high quality. As AI systems can be prone to hallucinations we always recommend readers seek out and read the original source material. Our intention is to help listeners save time and stay on top of trends and new discoveries. You can find the introductory section of this recording provided below... This...
2024-03-2613 minLLM
LLMLeading Compliance Transformation: Patronus AI Debuts LLM Evaluation Tool for Regulated SectorsJoin the forefront of compliance transformation with Patronus AI's debut of its LLM evaluation tool designed for regulated sectors. Explore how this innovative solution revolutionizes compliance practices, offering organizations unprecedented efficiency and insight into regulatory compliance. Get on the AI Box Waitlist: AIBox.aiJoin our ChatGPT Community: Facebook GroupFollow me on Twitter: Jaeden's Twitter See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.
2024-02-1004 minMLOps.community
MLOps.communityLLM Evaluation with Arize AI's Aparna Dhinakaran // #210Large Language Models have taken the world by storm. But what are the real use cases? What are the challenges in productionizing them? In this event, you will hear from practitioners about how they are dealing with things such as cost optimization, latency requirements, trust of output, and debugging. You will also get the opportunity to join workshops that will teach you how to set up your use cases and skip over all the headaches.Join the AI in Production Conference on February 15 and 22 here: https://home.mlops.community/home/events/ai-in-production-2024-02-15
2024-02-0955 minLLM
LLMShaping the Future: Patronus AI's LLM Evaluation Tool Transforms Compliance in Regulated IndustriesExplore how Patronus AI is shaping the future of compliance management in regulated industries with its innovative LLM Evaluation Tool. Learn how this tool empowers organizations to achieve regulatory compliance with efficiency and precision. Get on the AI Box Waitlist: AIBox.aiJoin our ChatGPT Community: Facebook GroupFollow me on Twitter: Jaeden's Twitter See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.
2024-02-0704 minLLM
LLMTech Reshaping: Unveiling the World's Largest Open-Source LLM Dataset - Navigating Language Model AdvancementsJoin the conversation on tech reshaping as the world's largest open-source LLM dataset, featuring 3 trillion tokens, is unveiled, offering insights into navigating advancements in language models. In this episode, explore the potential impact on industry standards, the technological advancements, and the ongoing dialogue between artificial intelligence and the future of language understanding. 🌐💡 #TechReshaping #OpenSourceLLM Get on the AI Box Waitlist: https://AIBox.ai/ Join our ChatGPT Community: ⁠https://www.facebook.com/groups/739308654562189/⁠ Follow me on Twitter: ⁠https://twitter.com/jaeden_ai⁠ See Privacy Policy at https://art19.com/privacy and California Pri...
2024-02-0108 minLLM
LLMRevolutionizing Data Security: DynamoFL's $15.1M Funding Transforms LLM Data Leak DefenseJoin the revolution in data security as DynamoFL's $15.1 million funding transforms the landscape of defending against Large Language Model (LLM) data leaks. In this episode, explore the potential impact on safeguarding sensitive information, the technological advancements, and the ongoing dialogue between artificial intelligence and the future of data security. 🔄🔐 #DataSecurityRevolution #DynamoFLDataLeakDefenseTransformation Get on the AI Box Waitlist: https://AIBox.ai/ Join our ChatGPT Community: ⁠https://www.facebook.com/groups/739308654562189/⁠ Follow me on Twitter: ⁠https://twitter.com/jaeden_ai⁠ See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art...
2024-01-3108 minLLM
LLMGoogle's Bard & LLM PaLM 2 Explored: What's Fresh?Explore the freshness in Google's Bard and LLM PaLM 2, discovering the latest elements reshaping the landscape of AI language models. Get on the AI Box Waitlist: https://AIBox.ai/ Join our ChatGPT Community: ⁠https://www.facebook.com/groups/739308654562189/⁠ Follow me on Twitter: ⁠https://twitter.com/jaeden_ai⁠ See Privacy Policy at https://art19.com/privacy and California Privacy Notice at https://art19.com/privacy#do-not-sell-my-info.
2024-01-0715 minMachine Learning Tech Brief By HackerNoon
Machine Learning Tech Brief By HackerNoonHow to Effectively Evaluate Your RAG + LLM Applications This story was originally published on HackerNoon at: https://hackernoon.com/how-to-effectively-evaluate-your-rag-llm-applications. Ever wondered how some of today's applications seem almost magically smart? A big part of that magic comes from something called RAG and LLM. Check more stories related to machine-learning at: https://hackernoon.com/c/machine-learning. You can also check exclusive content about #rag-architecture, #rag-plus-llm-applications, #dual-role-of-master-llm, #llm-cycle-of-improvement, #human-in-loop-feedback, #prompt-tuning-by-master-llm, #automating-evaluation-pipeline, #hackernoon-top-story, and more. This story was written by: @vndee. Learn more about this writer by checking @vndee's about page, and for more stories, please visit hackernoon.com. Ever wondered how some...
2023-12-2813 min