OpenAI 医疗转录工具 Whisper 被曝存在严重"幻觉"问题，引发 AI 工具的信任危机
科技巨头 OpenAI 宣称其人工智能驱动的转录工具 Whisper 具有接近“人类水平的稳健性和准确性”。然而，近期有研究者发现， Whisper 存在一个重大缺陷：它容易编造文本片段甚至整句内容。超过十几名软件工程师、开发人员和学术研究人员在采访中指出，某些捏造的文本——业界称之为“幻觉”——可能包括种族评论、暴力言论，甚至是想象中的医疗治疗。专家表示，这些捏造内容问题严重，因为 Whisper 被广泛用于全球多个行业中进行翻译和转录采访、生成文本以及为视频创建字幕。更令人担忧的是，尽管 OpenAI 警告该工具不应在“高风险领域”中使用，但医疗中心仍匆忙采用基于 Whisper 的工具来转录患者与医生的对话。
密歇根大学的一名研究人员在研究公共会议时发现，在他检查的每 10 个音频转录中，就有 8 个存在幻觉。一名机器学习工程师在分析的 100 多个小时的 Whisper 转录中，最初发现约有一半存在幻觉。第三位开发者在他创建的 26,000 个转录中几乎每一个都发现了幻觉。即使是记录良好、简短的音频样本中，这一问题仍然存在。最近的一项计算机科学家研究在 13,000 多个清晰音频片段中发现了 187 个幻觉。这种趋势可能导致数百万录音中有数以万计的错误转录，研究人员表示。
这些错误可能在医院环境中特别具有严重后果。普林斯顿高级研究所教授 Alondra Nelson 强调：“没有人希望出现误诊。”她认为在这类高风险环境中，应该设定更高的标准。Whisper 也用于为听障人士创建字幕——这类人群特别容易受到错误转录的影响，因为他们无法识别隐藏在其他文本中的捏造内容。（Saasverse）
无需训练即可创建数字人，字节 PersonaTalk 视频口型编辑超 SOTA
近期，字节跳动一项名为 PersonaTalk 的相关技术成果入选了 SIGGRAPH Asia 2024-Conference Track，该方案能不受原视频质量的影响，保障生成视频质量的同时兼顾 zero-shot 技术的便捷和稳定，可以通过非常便捷高效的方式用语音修改视频中人物的口型，完成高质量视频编辑，快速实现数字人视频制作以及口播内容的二次创作。
PersonaTalk 通过注意力机制的双阶段框架，有效突破了已有视频口型编辑技术的瓶颈，可以用很低的成本来生成高质量的人物口播视频，实现了效果和效率的兼顾。PersonaTalk 不仅具有广泛的应用前景，还为多领域的创新提供了新思路。无论是在娱乐、教育、广告等行业，都能实现更加个性化和互动式的用户体验。随着技术的不断发展，相信 PersonaTalk 将使视频内容以及数字人创作变得更加生动、真实，从而拉近虚拟世界与现实生活之间的距离。(机器之心)
腾讯研发全球首个大熊猫模型：实时识别、统计、分析大熊猫行为并生成报告
腾讯宣布，为了帮助饲养员全方位观察大熊猫，腾讯、中国大熊猫保护研究中心、广东工业大学，联合打造了全球首个大熊猫行为智能识别模型及智慧系统。该模型可以识别大熊猫进食、喝水、睡觉等日常行为，并自动生成日报、周报、月报等可视化数据报表。项目组通过优化 SlowFast 算法，大幅提升了系统在遮挡环境下的行为识别能力，目前室内遮挡场景下的大熊猫行为识别准确率提升到了 80% 以上。
为了更精细化地照料熊猫，学生还在此基础上升级了系统，让 AI 能识别大熊猫每次进食的时间和食物种类，包括竹子、竹叶和人工辅食等。大熊猫行为智能识别模型研发期间，腾讯云基于公有云、人工智能开发服务平台 TI 及一站式研发管理平台 CODING DevOps 等产品和资源，为项目组提供从底层算力、训练环境部署、数据标注到模型训练的全链路技术与平台支持。
项目组计划未来将“大熊猫行为智能识别模型”部署到大熊猫保护与研究基地，实时识别、统计、分析每一只大熊猫的行为并生成报告。作为全球首个大熊猫模型，未来将结合大熊猫专业饲养知识，它还能辅助饲养员进行疾病预测、疾病捕捉。（IT之家）
智谱清言上线情感语音模型 GLM-4-Voice：可理解情感，有情绪表达和共鸣
智谱近期宣布上线 GLM-4-Voice 端到端情感语音模型。官方表示，其能够理解情感，有情绪表达、情感共鸣，可自助调节语速，支持多语言和方言，并且延时更低、可随时打断，用户即日起可在“智谱清言”App 上体验。
据介绍，GLM-4-Voice 具备情感表达和情感共鸣、调节语速、随时打断，灵活输入指令、多语言、多方言支持、结合视频通话，能看也能说。等特点
此外，智谱 AutoGLM 具备 phone use 能力，只需接收简单的文字 / 语音指令，它就可以模拟人类操作手机。其不受限于简单的任务场景或 API 调用，也不需要用户手动搭建复杂繁琐的工作流，操作逻辑与人类类似。
GLM-4-Voice 同期对外开源，官方称其为智谱首个开源的端到端多模态模型。（IT之家）
周鸿祎数博会授课：未来所有科学研究都将以AI为中心
10 月 24 日- 26 日，360 集团创始人周鸿祎应邀参加 2024 中国国际数字经济博览会并在会上发表专场讲座。本次讲座围绕大模型是真智能、大模型是工业革命，以及政府企业拥抱大模型的方法论三个层次进行解读，讨论内容包括大模型运行机制、大模型未来的发展趋势以及专业化大模型如何落地等。
“没有 AI 认知的人还在观望，殊不知 AI 已经在改变世界”。周鸿祎说，当前各行各业应先建立 AI 认知，这也是举办本次讲座的初衷。周鸿祎认为，未来所有科学研究都将以 AI 为中心，“ AIForScience ”将为基础科学带来革命性变化。周鸿祎同意“大模型是真人工智能”的观点，认为通过足够多的知识输入，大模型自然而然产生了对语言的理解，进而理解了人类世界的知识。
在周鸿祎看来，人工智能技术的演进之所以进入新阶段，是因为逻辑推理能力的大幅增强。对于人工智能如何促进新质生产力发展这一话题，周鸿祎认为，人工智能是新质生产力的关键支撑技术，将带动新一轮工业革命。而面对全球大模型产业之争，中国大模型则要打赢“三大战役”，即通用大模型之战、大模型安全之战和应用场景之战。对于专业化大模型如何落地，周鸿祎提出，大模型不是产品而是能力，能力结合场景才能产品化。通过细分场景，拆解业务流程，就可以训练对应的专业模型来解决政府和企业专业场景的需求问题。（央广网）
MiniMax将于11月发布首款对标GPT-4o的API产品
AI 大模型领域的独角兽 MiniMax 将于今年 11 月发布对标 GPT-4o 的 Realtime API 服务，将提升端到端实时多模态处理能力，并带来更低延时、更自然、更沉浸的实时语音对话，为企业协作、社交、直播、游戏等多种场景提供服务。
这是 MiniMax 推出的首款端到端实时语音对话产品今年 10 月，实时语音技术公司、声网的兄弟公司 Agora 作为语音 API 合作者出现在了 OpenAI 发布的 Realtime API 公开测试版中。而 MiniMax 也看到了机会，开始与声网进行合作，声网创始人兼 CEO 赵斌在 RTE 2024 第十届实时互联网大会上表示，声网与 MiniMax 正在打磨中国第一个 Realtime API，基于该 API 的智能体产品，能够与人类进行轻松且流畅的实时语音交流。（钛媒体）
美图：奇想大模型图像生成能力升级，上线一站式AI短片创作工具MOKI
美图公司宣布旗下美图奇想大模型( MiracleVision )图像生成能力再度升级，综合实力得到进一步完善，并上线一站式 AI 短片创作工具 MOKI ，后续将逐步覆盖美图旗下产品生态,为用户带来全新的视觉体验。
值得一提的是，本次美图奇想大模型的图像生成能力升级，特别提取了中国文化元素进行针对性调优，实现了对东方语义乃至中西融合语义的精准理解与内容表达，并为用户带来极富东方韵味的视觉风格。
美图奇想大模型团队表示，本次图像生成能力的升级，依托美图奇想大模型强大的语义理解与文本扩写能力，实现精准画面表达与兼具故事感的氛围呈现。升级过程深度结合了美图公司在影像、美学、艺术等领域的长期积累，将多元美学理念融入模型训练过程，生成质感更加细腻自然,能呈现从轮廓、光影到构图的全方位电影级画面。
升级后的美图奇想大模型支持超短文本到超长文本的内容输入，能精准理解多元风格与复杂场景，展现想象力爆棚的创意画面。（头部财经-新科技）
西湖大学 “AI 科学家” Nova 横空出世：开启全新科研时代的钥匙
近日，西湖大学工学院深度学习实验室发布了一款名为 Nova 的“ AI 科学家”，其效果远超当前最先进（SOTA）的竞品，提升幅度高达 2.5 倍。这一消息在科学界引起了广泛关注，也引发了人们对未来科研模式的无限遐想。
Nova 大模型由西湖大学蓝振忠团队联合浙江大学、电子科技大学等多所高校共同研发，它不仅能够生成大量突破性的科学构想，还在创新性、价值性、可行性等方面媲美甚至超过人类科学家。这得益于团队引入的一种增强的规划和搜索方法，使得 Nova 能够迅速阅读最新的学术论文，提取关键信息，并根据这些信息生成多个高质量的科研想法。Nova 大模型的发布，不仅仅是技术上的突破，更是科研领域的一场革命。它极大地加速了科研创新的过程，使得科研工作者能够更高效地提出和验证新的科学构想。蓝振忠表示，Nova 的诞生将帮助科学家打破现状，用AI模型“杠杆”科学家的科研能力，加速人类科学的进步。（更多内容请点击
西湖大学发布 「 AI 科学家」 Nova，效果相比 SOTA 提升 2.5 倍
）
语音大模型「MaskGCT」正式开源，为短剧、游戏、数字人等产品提供服务
趣丸科技宣布与香港中文大学（深圳）联合研发的语音大模型“ MaskGCT ”正式在 Amphion 系统中开源，面向全球用户开放使用。区别于传统 TTS 模型，MaskGCT 采用掩码生成模型与语音表征解耦编码技术，在声音克隆、跨语种合成、语音控制等任务环节中能够快速落地。同时，MaskGCT 在语音的相似度、质量和稳定性上进一步突破，在三个 TTS 基准数据集上都达到了 SOTA 效果。其具有：超逼真的声音克隆、精细可控的语音生成、高质量多语种数据集等显著特点。
作为一个大规模的零样本 TTS 模型，MaskGCT 采用非自回归掩码生成 Transformer ，无需文本与语音的对齐监督和音素级持续时间预测，其技术突破性在于采用掩码生成模型与语音表征解耦编码的创新范式。根据官方实验表明，MaskGCT 在语音质量、相似度和可理解性方面优于当前绝大部分的 TTS 模型，并且在模型规模和训练数据量增加时表现更佳，同时能够控制生成语音的总时长。（钛氪星云）
近期，国务院国资委举办的中央企业人工智能特训班开班。国务院国资委党委书记、主任张玉卓出席开班式讲话。张玉卓强调，中央企业要采取有力措施加强人工智能人才培养、引进和使用，着力打造一支高水平、专业化人工智能人才队伍，为国资央企培育新质生产力、推进高质量发展提供坚实人才支撑。
要切实加强组织领导，强化人才自主培养，坚持产业、科技、人才一体推进，深化校企合作、产教融合培养，加快培养一批能够熟练掌握 AI 工具、勇于探索创新的实操型人才。要大力引进高端人才，建立更加符合行业特点规律的人才评价体系，以最灵活有效的方式引进领军人才、青年人才。要敢于打破常规，不拘一格用好人才，强化跨企业协同创新，加强与国内外人工智能领先企业的交流合作，打造更加宽容、自由、耐心的发展环境，让人才心无旁骛搞科研。（钛媒体AGI）
《北京市教育领域人工智能应用指南》于 10 月 26 日发布，明确人工智能在 6 大重点教育领域 29 个典型场景的应用规范，指导学校和师生稳妥有序开展应用实践。两项教育领域人工智能重点任务启动建设，让新技术更“懂”教育。该指南也是由北京市教育行政主管部门委托研制并发布的首份教育领域人工智能应用指南。《指南》明确了以“智”助教、以“智”助学、以“智”助评、以“智”助育、以“智”助研、以“智”助管等六大重点应用领域，全面涵盖了人工智能在学校教育中的所有关键应用层面。对六大重点应用领域中的 29 个典型场景提出了引导和规范，确保人工智能技术在教学、管理、科研等各个环节中充分发挥作用，为教育工作者提供明确的操作框架，使复杂的技术应用变得易于实践。
同时，北京市教委等 4 部门近日还发布了《北京市教育领域人工智能应用工作方案》，明确到 2025 年，全市完成建设教育领域人工智能试点应用场景，大中小学普遍开展人工智能场景应用；到 2027 年，全市教育领域人工智能规模化、系统化、常态化应用的格局基本成型。（IT之家）
奥特曼辟谣OpenAI计划推出下一代模型Orion
近日，有外媒报道称，OpenAI计划于12月推出其下一个前沿模型Orion。OpenAI计划首先向与其密切合作的公司授予访问权限，以便他们构建自己的产品和功能。另外，还有一位消息人士表示，微软内部工程师正准备最早在 11 月，在 Azure 上托管 Orion。虽然 Orion 在 OpenAI 内部被视为 GPT-4 的继任者，但目前尚不清楚 OpenAI 是否会在外部将其称为 GPT-5。
对于上述消息，OpenAI CEO山姆·奥特曼在X平台辟谣表示：虚假新闻失控。（网易新闻）
英伟达新一代 AI 芯片 GB200 订单爆发，H100 芯片遇冷
10 月 27 日消息，在英伟达新一代 AI 芯片 GB200 需求爆发的同时，曾经炙手可热的 H100 芯片却有些遇冷，从一名做算力资源池的业内人士处了解到，搭载 H100 的服务器一般是以 8 卡的形式出售或出租，去年 8 卡整机的出售价格一般都在 300 万元以上，如今价格已降至 230 万元— 240 万元左右，“一周一个价”。而英伟达对华特供的 H20 芯片，8 卡整机的价格也从之前的 140 万元左右降至 110 万元以内。H100 芯片最初的租赁价格为 4.7 美元/小时，在需求巅峰时期一度被爆炒至每小时 8 美元以上。
查询算力租赁网站发现，如今 1 个 H100NVL 的租赁价格在每小时 2 — 3 美元之间，价格比巅峰时期已跌超 50% 。向业内人士了解到，从今年上半年开始，国内算力的价格就呈现下降趋势，在大模型训练需求有所下滑及早期“囤卡”导致供给相对过剩的背景下，一些规模较小的算力供应商或将面临亏损，正加速被市场“洗”出去。(证券时报)
Perplexity AI 搜索引擎每周处理 1 亿次查询，微软、X 和 OpenAI 讨论收购
人工智能搜索公司 Perplexity 的首席执行官 Aravind Srinivas 表示，Perplexity AI 搜索引擎现在每周执行 1 亿次查询。据此推断，一个月大约有 4 亿次查询，高于 7 月份的 2.5 亿次查询。
除此之外，人工智能搜索弓|擎初创公司 Perplexity 正在以至少 80 亿美元的估值进行新一轮融资，去年它曾是一个热门收购目标。X、Notion 和 OpenAI 都向 Perplexity 发出了 1.5 亿至 2 亿美元的收购要约，微软也表达了收购意向。
据 9 月份报道称，Perplexity 正在为其人工智能搜索引擎规划一种新的广告模式，并正在与各大品牌进行洽谈，试图在数字广告市场上与谷歌竞争。有了这种新模式，品牌可以竞标赞助问题，该问题具有广告商批准的 AI 生成答案。目前，Perplexity 的 AI 聊天机器人根据来自网络的信息为用户提供全面的问题答案，以及后续查询的建议。（鞭牛士）
Meta 推出 Llama 3.2 1B / 3B 模型量化版：功耗更低、可适用更多轻量移动设备
10 月 27 日消息，继今年 9 月开源 Llama 3.2 的 1B 与 3B 模型之后，Meta 于 10 月 24 日发布了这两个模型的量化版本，量化后的模型大小平均减少了 56%，RAM 使用量平均减少了 41%，模型速度提高了 2 至 4 倍，同时降低了功耗，使这些模型能够部署到更多移动设备上。
Meta 表示，他们采用了量化感知训练（Quantization-Aware Training，QAT）和后训练量化（SpinQuant）两种方法对模型进行量化，其中“量化感知训练”更重视模型的准确性，而“后训练量化”更强调模型的可移植性。
据介绍，研究人员一共为 Llama 3.2 的 1B 和 3B 模型各推出了两款量化版本，分别为 Llama 3.2 1B QLoRA、Llama 3.2 1B SpinQuant、Llama 3.2 3B QLoRA 和 Llama 3.2 3B SpinQuant。
Meta 声称，这些量化模型比非量化的 Llama BF16 模型速度更快，占用更少的 RAM，并且功耗更低，同时保持与 Llama BF16 版本几乎相同的精度。（IT之家）
Anthropic 为 Claude 推出 JavaScript 沙盒工具：可 AI 写代码、可上传自有代码运行
近日，Anthropic 为 Claude AI 推出了一款 JavaScript 沙盒工具，允许用户利用 Claude 编写 JavaScript 代码、在沙盒环境中上传自己的代码并自动生成运行结果，相应功能目前已作为预览版本向所有用户开放。
此外，Anthropic 还提到 Claude AI 新增的这套沙盒工具允许用户加载本地文件，帮助企业快速处理 / 分析客户数据，快速将相关内容进行可视化处理。Anthropic 表示，目前他们已进一步提升了 Claude 的代码编写能力，这意味着 Claude 不仅能提供逻辑严谨且经过推敲的答案，还能帮助程序员 / 商务人员调试代码或进行精确高效的运算。
用户现在只需登录 Claude 平台，在设置中启用分析工具预览，即可开始使用这一 JavaScript 代码沙盒功能。（IT之家）
消息称谷歌将推出“ Project Jarvis ”：可实现网页任务自动化
据媒体报道，谷歌计划在 12 月预览其大型动作模型“ Project Jarvis ”。知情人士透露，该项目将帮助用户执行诸如“收集研究、购买产品或预订航班”等任务。
报道称，“ Jarvis ”将由未来版本的谷歌 Gemini 驱动，专门针对 Chrome 浏览器进行优化。该工具旨在通过截取屏幕截图、解析内容并自动点击按钮或输入文本，帮助用户“自动化日常的网页任务”。目前，该工具在执行不同操作的时候，中间会有几秒钟的间隔时间。报道称，谷歌展示“ Jarvis ”的计划也可能会有所变动，预计将首先向少量测试者发布，以帮助公司修复潜在的 Bug。（IT之家）
错过 AI 大好机会
，
Intel 前 CEO 曾欲收购 NVIDIA 被董事会所拒
据媒体报道，在人工智能技术的浪潮中，Intel 错失了一次可能彻底改变其在 GPU 和 AI 领域地位的机会。
报道称，在 2005 年的时候，时任 Intel CEO 的保罗·欧德宁（Paul Otellini）曾提议以高达 200 亿美元的价格收购 NVIDIA ，但遭到了董事会的拒绝。当时一些 Intel 高管已经预见到 NVIDIA 的设计将在数据中心扮演重要角色，这一预测在现代 AI 的蓬勃发展中得到了证实。然而，由于这笔交易将是 Intel 最昂贵的一次收购，并且存在整合公司的隐忧，董事会最终没有同意这一计划。
在收购 NVIDIA 的计划流产后，Intel 转而支持了一个名为 Larabee 的内部图形项目，由现任 CEO 帕特·基辛格（Pat Gelsinger）负责，但该项目最终在 2009 年被终止。虽然没有收购 NVIDIA，但 Intel 在 AI 领域依然进行了一系列收购，包括 2016 年收购 Nervana Systems 和 Movidius，以及 2019 年收购 Habana Labs，但都无法与 NVIDIA 如今超过 3 万亿美元的市值相提并论。（快科技）
Meta 达成首笔 AI 新闻授权交易，旗下聊天机器人可使用路透社资源
据外媒报道，Meta 同路透社达成了一份多年期的有偿新闻授权协议，Meta 旗下 AI 聊天机器人即日起回答用户有关时事新闻的查询时可引用路透社的报道资源并给出原文链接。这也是 Meta 在 AI 时代与新闻媒体签署的首份内容授权合同。
由于监管机构对其平台上虚假信息的批评以及与新闻媒体在收入分享上的分歧，Meta 一直在减少其社交平台上的新闻内容，但平台用户仍有一定的新闻阅读需求。同路透社的合作可曲线满足这部分需求。
Meta 发言人就此表示：“我们一直在迭代并努力改进我们的产品，通过 Meta 与路透社的合作，Meta AI 可以通过摘要和路透社内容的链接来回答与新闻相关的问题。这种合作伙伴关系将有助于确保那些寻求时事信息的人获得更有用的体验。”（IT之家）
谷歌报告：76%的开发者依赖AI工具完成编写、解释代码等任务
谷歌近日发布 2024 年 DevOps 状态报告指出，有 76% 的开发者和 IT 专业人士表示他们会利用 AI 来进行代码编写、信息总结以及代码解释等任务。而且，有 81% 的受访者提到公司已经将资源转向 AI 的开发，表明 AI 正在成为推动技术进步的重要力量。
更令人关注的是，调查还表明 AI 的应用与多个积极的工作指标有正相关关系。约 67% 的开发者认为 AI 可以帮助提升代码质量，数据显示，AI 采用率提高 25% 后，文档质量提升了 7.5% ，代码质量上升了 3.4% ，而代码审查速度和批准速度分别提高了 3.1% 和 1.3% 。此外，代码复杂性也有所下降，减少了 1.8%。（钛媒体）
AI不重要，用户升级手
机调查：电池续航是最大动力
随着 AI 在智能手机领域的快速发展，许多厂商也将其作为新机型的主要卖点。然而根据最新调查，美国用户在升级手机时，更关注的是电池续航而非 AI 功能。调查显示，61% 的受访者认为更长的电池续航是他们升级手机的首要理由，紧随其后的是更大的存储空间（46%）和更好的相机功能（38%）。相比之下，AI 功能的吸引力明显不足，仅有 18% 的用户表示他们会因为 AI 集成而选择升级手机。
此外，随着旗舰手机价格的不断上涨，44% 的受访者表示他们只有在手机损坏或需要更换时才会购买新手机，这表明价格也是影响用户升级决策的重要因素。对于 AI 功能的实用性，调查中约有四分之一的用户认为 AI 功能并没有给他们带来实质帮助。45% 的用户表示他们不愿意为 AI 功能付费，这可能与当前许多在线服务如 OTT 等都需要订阅付费有关，还有 34% 的用户担心使用 AI 功能可能涉及隐私问题。（快科技）
Salesforce AI 研究推全新多模态模型 BLIP-3-Video :低成本搞定视频理解
最近，Salesforce AI 研究团队推出了一款全新的多模态语言模型——BLIP-3-Video。这款模型专为高效处理视频数据而设计，适用于从自动驾驶到娱乐等多个行业。该算法引入了“时序编码器”，也即采用可学习的时空注意力池化机制，能够从每一帧中提取最重要的信息，并将其整合成一个紧凑的视觉标记集。这一创新设计将所需视觉信息的数量减少到 16 到 32 个标记。
BLIP-3-Video 的表现非常出色。在视频问答任务中，它与顶尖模型的表现相当。例如，Tarsier-34B 模型处理8帧视频需要 4608 个标记，而 BLIP-3-Video 只需 32 个标记，就能实现 77.7% 的基准得分。（新智讯）
京公网安备 11010802033920号