NLP是计算机科学,人工智能和语言学的交叉领域。目标是让计算机处理或“理解”自然语言,以执行语言翻译和问题回答等任务。
随着语音接口和聊天机器人的兴起,NLP正在成为信息时代最重要的技术之一,同时它也是人工智能的关键部分。充分理解和表达语言的含义是一个非常困难的目标。
大部分NLP技术都是由深度学习提供技术支持。在深度学习中,表示学习试图自动学习来自原始输入的良好特征或表示。而在机器学习中手动设计的特征通常过多且不完整,需要花费很长时间进行设计和验证。而且深度学习提供了一个非常灵活、通用且可学习的框架,用于呈现视觉和语言信息的世界。最初,它在语音识别和计算机视觉等领域取得突破。最近,深度学习方法在许多不同的NLP任务中表现出了非常高的性能。这些模型通常可以通过单一的端到端模型进行训练,并且不需要传统的,特定于任务的特征工程。
虽然 NLP 研究领域已经在深度学习的帮助下取得了长足的发展,许多技术也已经商业化落地,但我们也需要知道,这个领域还有几个开放性问题等待解决 —— 如果它们也能比较好地解决,也许我们能迎来 NLP 科研成果与商业落地的一个新的高潮。
下面列举的 5 个开放性问题来自自学 NLP 的机电一体化本科生 Deepak Garasangi 在 Reddit 上的发帖讨论内容总结,并且参考了 Sebastian Ruder 曾经总结的 4 个开放性问题。按重要性从轻到重排序:
5. 评价指标
这个问题在领域内不算很大的瓶颈,但是经常有研究人员觉得有必要重新讨论这个问题,因为现行惯例里往往不问原因就沿用某些固定的架构、数据集和评价指标。有人这样总结:「随着我们探索越来越高级的认知任务,弄明白为什么某些方法、某些架构在某些时候能起到好的效果,这对我们非常有帮助。」
另外一种担忧是对于评价指标自身的,这些评价技巧、这些生成的数字到底能在多大程度上对应人类语言的多样性和表达能力?对这个问题的回答也可以帮助我们构建出更有趣的自然语言推理数据集。
拓展阅读:EMNLP 2017 论文《Why We Need New Evaluation Metrics for NLG》(https://www.aclweb.org/anthology/D17-1238)
4. 终生学习(Life long learning)
NLP 领域遇到的另一个棘手问题是为这几个问题设计解决方案:
低阶模型用于下游任务时的终生适配
迁移学习的应用
视觉、文本、音频等等语言相关模态的无缝整合
低资源情境中高效的跨任务迁移
拓展阅读:Sebastian Ruder 近期写了一篇文章,总结了 NLP 领域迁移学习的现状,AI 科技评论也做了编辑,可以点击阅读
3. 面向目标的对话系统
面向目标的对话系统(Goal oriented dialogue systems)
从 ACL 学会出版的论文集来看,近一两年的 ACL 会议、EMNLP 会议中研究面向目标的对话系统的论文都有大幅增加。这就是又一个开放性问题:如何设计具备常识、能在真实世界语境中与人类进行较长的、面向目标的交谈的机器对话系统。目前的研究思路包括:带有状态追踪的任务驱动的对话系统,使用强化学习的对话系统,以及很多别的新点子。
拓展阅读:在 NLP 中应用强化学习
https://www.csie.ntu.edu.tw/~yvchen/doc/KAIST19_Tutorial.pdf
2. 低资源语言
这可以算是最紧迫的问题。目前全世界大约有 7000 种语言,但这些语言中只有很小的一部分,大概 20 种左右,可以算是资源丰富的语言。这个问题除了很实际之外,在其中找到灵感、取得进展也相对比较容易。专家们认为可行的方向包括:
为低资源语言设计收集数据、用较小数据训练语言模型的方法
可以有效用于低资源语言的跨任务迁移方法
拓展阅读:详细的说明文章参见 http://www.cs.cmu.edu/~ytsvetko/jsalt-part1.pdf
1. 自然语言理解
没错,这就是那个最开放的问题,它和 NLP 领域中的许多具体问题也都息息相关。想要解决这个高阶的认知问题,可能需要我们从强化学习、领域适应、小样本/零样本学习等等领域中借鉴很多思想和方法,也还需要 NLP 研究人员们做出更多创新。
现阶段的研究落脚点包括:
共指消歧(Coreference resolution)、多义词解析(Polysemy)、文本/文档总结(Text/Document Summarization)
论证与推理,讽刺与幽默
高效地表征大文本
环境中的语言学习(Grounded language learning),比如联合学习一个世界模型和语言模型,并且学习如何在语言模型中使用世界模型。
Yoshua Bengio 曾说:「要有野心。不要(因为做 NLP 就)仅仅读 NLP 论文。要读很多机器学习、深度学习、强化学习的论文。」我们也希望各位研究者们可以打开眼界,多多参考以前和现在的包括别的领域的有用经验,才能解决更难的问题、做出更大的成果。
上一篇:面板行业寒冬,中华映管已宣布破产
下一篇:LG显示或将OLED E2 工厂关闭,年内停产?
推荐阅读
史海拾趣
在电子行业的早期,EOREX公司由一群热衷于技术创新的工程师创立。他们专注于研发高性能的半导体芯片,以满足当时市场对更快、更稳定电子产品的需求。通过不断的技术创新和产品迭代,EOREX逐渐在半导体领域树立了良好的口碑,吸引了众多合作伙伴和投资者的关注。随着公司规模的扩大,EOREX不断加大对研发的投入,推出了更多具有竞争力的产品,逐渐在电子行业中崭露头角。
浙江东亚电子不仅在国内市场上取得了显著成绩,还积极开拓国际市场。公司已为多家世界五百强企业、上市公司提供服务,如华为、中兴、通用电气及西门子等。通过与这些国际知名企业的合作,公司不仅提升了自身品牌的影响力,还积累了丰富的国际市场经验。
随着全球环保意识的不断提高,DIOTECH公司也开始关注绿色环保和可持续发展问题。公司投入大量研发资源,成功开发出了一系列绿色电子产品,这些产品在生产过程中采用了环保材料和生产工艺,并且具有低功耗、长寿命等特点。这些产品的推出不仅满足了市场对环保产品的需求,也提升了公司的社会责任感和品牌形象。
ATC公司深知质量管理对于企业发展的重要性。因此,公司建立了严格的质量管理体系,从原材料的采购到产品的生产、检测、包装等环节都进行严格控制。此外,ATC公司还注重员工的培训和教育,提升员工的质量意识和技能水平。这些措施确保了ATC公司产品的稳定性和可靠性,赢得了客户的信任和好评。
ATC公司的初创时期充满了挑战与艰辛。公司由几位电子工程领域的专家创立,他们凭借对技术的深刻理解和敏锐的市场洞察,决定投身于电子产品的研发与生产。在资金匮乏、市场竞争激烈的环境下,他们夜以继日地工作,不断试验、改进,最终成功研发出了一款具有竞争力的电子产品,为公司的发展奠定了坚实基础。
为了更好地服务全球客户,DURAKOOL公司加强了全球化布局,在多个国家和地区设立了生产基地和研发中心。同时,公司也积极寻求与全球知名企业的合作,如与杜邦公司等建立了良好的合作关系,共同推动电子行业的发展。
wince高手们,小弟现在用的是华硕的626的一款pda,操作系统是windows mobile6.0,支持无线Wi-Fi; 小弟现有一个问题,我在程序中用什么函数能够自动启用无线功能?… 查看全部问答∨ |
|
本人新手,刚下载了个modelsim6.5,结果编译任何模块都出现:** Error: E:/modelsim SE 6.5/NAND.vhd(1): near \"module\": syntax 的错误,这是为什么啊? 请Verilog方面的大神出面指教,或者加我QQ:552104827,帮忙传个没问题的modelsim6 ...… 查看全部问答∨ |
2407自己作的板子,烧写flash没问题:ok:flash sectors programmed 但擦除的时候出现问题: unexpected fatal error encountered which may have been caused by a stack overflow,out of memory condition, or access violation I\\\'m going ...… 查看全部问答∨ |
请教,如何在AQ430对MSP430IO口进行位操作? 以前用过PIC 如果想对PA口的第一位操作 格式是 PORTAbits.RA0 不知道MSP的 如何操作IO口的位啊??… 查看全部问答∨ |
|
能实现的功能: 一、6按键键盘:作为人机对话的输入设备,键盘设计下方,对于我们使用按键更加方便好用。其中两个按钮还可做中断实验用。 二、4位数码管:数码管共阳极采用三极管恒流驱动。学习数码管的静态与动态扫描显示技术。 ...… 查看全部问答∨ |
二段式:状态切换用时序逻辑,次态输出和信号输出用组合逻辑。 三段式:状态切换用时序逻辑,次态输出用组合逻辑,信号输出用时序逻辑。信号输出的process中,case语句用next state做条件,可以解 ...… 查看全部问答∨ |