14周硕士级进修,德克萨斯大学奥斯汀分校简明NLP课程视频全公开

小伙伴们,来进修吧。

近日,德克萨斯大学奥斯汀分校(UT Austin)的 CS388《自然说话处理》简明课程放出了全部视频,一共有 98 个视频。

14周硕士级进修,德克萨斯大学奥斯汀分校简明NLP课程视频全公开

视频地址:https://www.youtube.com/playlist?list=PLofp2YXfp7TZZ5c7HEChs0_wfEfewLDs7

这是一系列线上硕士课程,涵盖机器进修和 NLP 基础知识、模型(BERT、BART、T5、GPT-3 等)以及指令调优、思维链、说话与视觉等大型说话模型(LLM)相关的热点主题。

该系列课程分为以下 14 周来进修,我们一一来看。

第一周:课程简介和线性分类。具体内容包孕线性二元分类、情感分析与基本特征提取、进修基础与梯度下降、感知机、逻辑回归、情感分析、优化基础等。

第二周:多类与神经分类。具体内容包孕多类分类、多类感知机与逻辑回归、多类分类示例、分类公平性、神经网络及可视化、前馈神经网络与反向传播、神经网络实现、神经网络训练与优化。

第三周:词嵌入。具体内容包孕跳幅、词嵌入方法、词嵌入偏差、应用嵌入与深度平均网络。

第四周:说话建模与自注意力。具体内容包孕 N-Gram 说话建模及平滑、说话建模评估、自然说话模型、循环神经网络(RNN)及缺陷、注意力与自注意力、多头自注意力、位置编码。

第五周:Transformer 与解码。具体内容包孕 Transformer 架构、Transformer 说话建模、Transformer 扩展、束搜索。

第六周:预训练与序列到序列(seq2seq)说话建模。具体内容包孕 BERT 掩码说话建模、BERT 模型与应用、seq2seq 模型、BART、T5、词块与字节对编码。

第七 – 八周:结构化预测:词性与句法分析。具体内容包孕词性标注、序列标注以及利用分类器标注、隐马尔可夫模型(HMM)、HMM 参数估计与维特比算法、词性标注 HMM、成分句法分析、随机上下文无关文法、CKY 算法、精炼语法、依赖以及基于转换的依存句法分析。

第九周:现代大型说话模型(LLM)。具体内容包孕 GPT-3、零样本提示、少样本提示、上下文内进修(ICL)与感应头(induction head)、指令调优、基于人类反馈的强化进修(RLHF)、LLM 的事实性。

第十周:解释。具体内容包孕 NLP 可解释性、局部解释、模型探针、文本解释、思维链(CoT)及扩展与分析。

第十一周:问答与对话系统。具体内容包孕阅读理解初学、设置与基线、开放域问答、多跳问答、对话与聊天机器人、任务导向型对话、神经聊天机器人。

第十二周:机器翻译与纲要。具体内容包孕机器翻译初学、框架与评估、词对齐与 IBM 模型、基于短语的机器翻译、神经机器翻译与预训练机器翻译、纲要初学、抽取式纲要、预训练纲要及事实性。

第十三 – 十四周:多说话、说话基础与道德问题。具体内容包孕跨说话标注与解析、跨说话预训练、说话与视觉、道德偏差、自动标注的风险、不道德使用与前进的道路。

最后介绍一下课程主讲人 Greg Durrett,他是 UT Austin 计算机科学助理教授。

他的研究主要集中在 NLP 领域,其团队致力于改进获取和推理文本知识的技术。最近 GPT-4 等大型说话模型(LLM)极大推进了前沿研究,因此团队观察这些 AI 系统成功与失败的地方,以及如何进一步增强它们的能力,特别是通过构建那些将 LLM 用作原语的模块化 NLP 系统。

14周硕士级进修,德克萨斯大学奥斯汀分校简明NLP课程视频全公开

个人主页:https://www.cs.utexas.edu/~gdurrett/

课程主页:https://www.cs.utexas.edu/~gdurrett/courses/online-course/materials.html

给TA打赏
共{{data.count}}人
人已打赏
AI

1句指令+5美元+20分钟,就能训练出小型专业模型,Prompt2Model了解一下

2023-8-31 17:10:00

AI

CNCC2023举行发布会,学界、业界将一起在沈阳碰撞出「数字火花」

2023-9-2 16:28:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索