2024年3月17日星期日
Sora 将在今年晚些时候推出 zz
OpenAI CTO Mira Murati 接受《华尔街日报》采访时表示，该公司的文本视频模型 Sora 将在今年晚些时候向公众推出，可能还需要几个月。OpenAI 目前只向视觉艺术家、设计师和电影制作人提供该工具。Murati 表示该公司计划在 Sora 中整合音频，使得生成场景更真实；计划允许用户能编辑 Sora 生成的视频，因为它生成的内容并不总是准确的。Murati 没有详细谈论 Sora 模型使用了哪些数据进行训练。
Reddit 出售用户生成数据训练 AI 引起 FTC 调查 zz
美国社媒平台 Reddit 准备下周 IPO，它已经与 Google 等公司签署合作协议出售用户生成内容训练 AI 模型，这些协议能在未来几年给该公司带来 2.03 亿美元的收入。但相关交易引起了美国监管机构 FTC 的调查。Reddit 在一份监管文件中披露，它于周四收到了 FTC 的信函，询问相关信息。Reddit 并不是唯一一家试图通过出售用户生成数据训练 AI 获利的公司，编程问答网站 Stack Overflow 与 Google 签署了协议，美联社与 OpenAI 签署了协议，Tumblr 母公司 Automattic 正在谈判出售用户生成内容。而 Reddit 也不是唯一一家收到 FTC 信函的公司。出售用户生成内容引发了一系列疑问：谁真正拥有内容的所有权？不给内容作者提成就授权内容是否公平？
2024年3月9日星期六
大模型如何工作仍然是个谜团 zz
两年前 OpenAI 研究员 Yuri Burda 和 Harri Edwards 试图找到方法让大模型做基本算术。他们想知道需要多少两数相加的例子才能让大模型能完成任意两数相加的算术。一开始，他们进展不是很顺利。大模型能记住例子但无法解决新的加法。他们意外的让部分实验运行数天时间而不是预期的数小时。结果他们发现实验成功了，大模型能完成任意加法，只是所需的时间超出任何人的想象。他们和同事对这种现象展开了研究，发现在特定情况下大模型会突然从无法完成任务到能完成任务，他们称之为“领悟（grokking）”。领悟是让 AI 研究员摸不着头脑的多个现象之一。这突出了深度学习背后的一个引人注目的事实：没人知道它是如何工作，或为什么它能工作。现在最大的模型是如此复杂，以至于研究人员像研究奇特的自然现象那样研究它们，他们进行实验并试图解释结果。很多观察结果违背了经典统计学。
订阅 博文 [Atom]