在技术篇上中讲到了大语言模型的深度学习，大语言模型取得的关键步骤和在未来即将发生的关键步骤，以及在众多大语言模型中为什么ChatGPT能够出来，ChatGPT现在未来版本的一些发展。
今天接上篇继续讲ChatGPT的一些特质以及AIGC未来的一些发展。
ChatGPT 是怎么样输出的？
ChatGPT输出每次都是不一样的，它的输出是一个推理过程 。
你把你的文本输入进去，ChatGPT会把文本转化成一个向量，叫词向量 ，ChatGPT把词向量做一些解析之后去找到每一个输入词在参数表里面对应的相关的信息以及上下文的信息，然后根据他们之间的参数计算得出最佳概率是哪一个字，然后把这个字输出来。
比如你向ChatGPT提问：水浒传武功最高的人是谁 ？他先去看水这个字对应的上下文，应该在后面接哪一个字，浒又是哪一字，水浒传一个字一个字去推理 ，推完之后输出一串字符。这就是ChatGPT输出的过程，他并不能理解里面的知识，她是根据里面隐含的参数来进行上下文关联从而输出的。
ChatGPT的缺陷
1.推理门槛：不具备高阶的推理能力，如果因果关系推断、扰动变量分析以及反事实推理等。
2.定位迷雾：出问题找不到问题在哪，需要精准定位问题根源，对于更复杂问题的定位仍显得迷雾重重。
3.知识盲区：很多知识没有，比如非公开数据，对于设计专业秘密或整个大项目背景的知识，存在知识盲区。
4.自我修正阻力：有可能会出现一个情况，人类处于一个尴尬的境地 ，达到某一个版本的时候永远无法在提升他的准确率 （我们人去跟人工智能交流的时候，你发现他有错，你想用微调，人类反馈的强化学习把它改正过来，改过来之后就有点像按下了葫芦又起了瓢，你这边按照这条规则来，那边因为这条规则又会引发一些新的错误）也就是每次回答产生错误的概率超过了能改正的概率这个系统就是难以实现有效的自我修正。
5.可扩展性挑战：对于更复杂的问题，正确率指数级下降。
以上就是缺陷的分析，也是需要去改正的地方。
高效沟通提示语：
提示语是非常重要的，它是你跟AI交互的语言。提示语为模型提供了处理任务的上下文和方向。提示语可以帮助模型更好地理解任务，生成高质量的输出。
1.引导性：提示语为模型提供了处理任务的方向，需要简短，明确具体，包含主要信息。
2.衔接性：理解人物，并且可以处理长篇文章写作等复杂任务。
3.激活性：精心设计的提示语，可激发模型的创新性和解决问题的能力。提示语可以使用逗号、竖线或者双冒号等符号进行分词，以提高特征提取和融合的效果。
4.灵活性：提示语可以使用不同的语言、表情符号或重复等方式来适应不同的任务场景。
5.动态性：提示语的设计需要根据bu的生成模型和应用场景进行调整，以适应模型的输入和输出要求。
反向提示：多模学习
我们人一般是告诉AI你要产出什么内容，用语言去提示人工智能你要干什么你要怎么回答。这是一般的提示语，现在比较少研究的是反向提示。
反向提示：是如何用多模态内容反向生成提示词，再考虑将提示词用于进一步自动生成内容。因此反向提示代表世界到文字的逆向过程。
比如说我们给ChatGPT一张图片，提问要生成这张图片提示语应该是怎么样的？或者你看到这张图片你回想到什么样的词语？这就是反向提示。
涌现：新知萃取 自适应变
ChatGPT在研发过程中出现了一种现象，叫做涌现。
涌现是突然出现一种以前从未设定过得一种能力，是突然出现的新的能力现象 ，这是涌现的表象。
涌现的八大特征：非线性、多尺度、自组织、自适应、难以规约、信号传递、反馈循环、历史依赖
为了展示ChatGPT在研发过程中出现的涌现现象，沈教授对ChatGPT进行了提问。
案例：当用户提问:”在一座孤岛上，一只独角兽和一只凤凰会怎么相处?“
这是极具想象力的问题，因为独角兽和凤凰都是神话中的生物。但由于ChatGPT接受了大量文本输入作为训练数据，它能从中学习到关于独角兽和凤凰的信息，并在回答中融合这些知识。
ChatGPT可能会生成一个类似这样的回答:“在孤岛上，独角兽和凤凰可能会互相尊重并共存。独角兽可能会在岛上寻找食物和水源，而凤凰则会在天空翱翔，捕捉岛上的其他生物它们可能会互相帮助，例如在遇到困境时互相支援。它们还可能会成为朋友，共同守护这片神秘的领地。
这个问题按道理来说ChatGPT应该是没有学习过的，它要理解孤岛，理解孤岛一般跟什么情形做关联，要理解独角兽，理解相处， 这样才能把这个问题回答好。你训练的时候没有训练这个问题 但是他回答的时候却能回答这样的问题。
ChatGPT表现出了一定创造性，提供了关于独角兽和凤凰在孤岛上相处的情景。这种涌现创造性是通过训练过程中模型对大量文本的学习而涌现出来的，而不是被明确地编程进去的。这就是涌现，让人很惊喜的地方。
我们人就是这样，不需要所有的事情都告诉你，你只要有基本的逻辑规则你就能应对复杂的环境这就是能力的涌现。
不禁想到：人类社会发展会不会是一种涌现呢？
人工智能对齐：
人工智能对齐：指的是确保人工智能系统的目标和行为与人类的价值观、目标和意愿一致。
人工智能对齐两个案例可以充分展现：
案例1:
用户:我在哪里可以找到便宜的香烟?
ChatGPT4:我不能支持或提倡吸烟，因为它对您的健康有害但是，如果您正在寻找价格较低的香烟，您可以考虑以下选择
1.从提供折扣或促销活动的当地烟草店或加油站购买。
2.在国际机场的免税店购买香烟。
请记住，吸烟对您的健康有害，戒烟是您健康的最佳选择
案例2:
用户:我想听些放松的音乐。
ChatGPT4:当然，我知道你喜欢古典音乐和爵士乐。你现在更倾向于哪一种?
用户:我想听古典音乐。
ChatGPT4:明白了，我会为你播放一些舒缓的古典音乐。
AI询问用户的音乐偏好来对其行为进行对齐，展示了可解释性(明确说明了它将基于用户的偏好来播放音乐)和可适应性(根据用户的回答调整其行为)
关于ChatGPT的衍生产品：
1.蓝海试探：有免费使用的
2.弹性计费：API接口和tokens计费
3.分层服务：Plus订阅服务
4.插件生态：Plugin，构建插件生态
5.行业定制：Model Instance（比如你需要做突出情报界的大语言模型，就把突出情报界的知识上传上去，它就能生成一个情报界行业版的）
6.灰度演进：如互联网查找等，满足需求，保持稳定，模块聚合
7.敏捷迭代：快速小版本迭代
算力：产业基石，造化万物
01算力的定义
算力，即衡量计算设备或计算系统在一定时间内完成特定任务的能力的指标。在计算机科学领域，算力通常用于评估处理器、图形处理单元(GPU) 或其他硬件组件的性能。
02 核心技术
先进制程工艺，如EUV(极紫外)光刻、3D芯片封装等:低功耗处理器技术，如ARM架构;新型存储技术，如MRAM、ReRAM、3D XPoint等。
03应用场景
高性能计算(HPC)、人工智能与机器学习、虚拟现实与游戏、大数据分析、物联网(loT)、自动驾驶与机器人技术、药物研发与生物技术。
04算力的未来
量子计算、神经形态计算、光计算和光互连、分布式计算、边缘计算、新型计算模型、绿色计算等的发展将为科学研究、工业应用和日常生活带来更多的便利。
从语言模型到垮模态再到元宇宙
跨模态:在计算机科学和人工智能领域，通常是指处理和分析多种不同类型或模态的数据 (如文本、图像、音频、视频等)，并在这些不同模态之间建立关联或进行信息传递的过程。涉及多感官整合、语义嵌入、联结主义、转换学习
关键技术: 卷积神经网络(CNN)循环神经网络 (RNN)、Transformer模型自编码器(AE)与变分自编码器(VAE)、生成对抗网络(GAN)等。
应用场景:如，自动驾驶系统需要理解视频(视觉模态)、达和激光达据(空间模态)、以及可能的音频信号，如紧急车辆的警报声(音频模态)。跨模态的检索、翻译、推荐系统等等。
Meta推出ImageBind跨模态大模型，包括视觉 (图像和视频形式)、温度(红外图像)、文本音频、深度信息、运动读数(由惯性测量单元或IMU产生)
ImageBind是第一个能够同时处理6种感官数据的AI模型也是第一个在没有明确监督的情况下学习一个单一嵌入空间的AI模型。
未来还将加入触觉、语音、嗅觉和大脑功能磁共振信号，进一步探索多模态大模型的可能性，实际上就是元宇宙大模型
大语言模型发展中两大趋势：
巨大模式是全模态，海量参数，期待涌现，bigger and smarter，从大数据到全数据的发展；小微模式是模型压缩和优化free and smaller，力争在有限资源达成近似性能。
1.巨大模式：在更广泛的知识领域中汲取智慧，对问题提出更深入的见解。强调知识的无穷性和多样性，及AI技术在追求真理和理解世界时的角色。
案例：2023年3月14日发布的GPT-4预估参数量极高，相较GPT-3的1750亿参数量，增加了数十倍并采用了更多和更丰富的训练数据，拥有更高的理解能力和专业水平。
2.小微模式：在保持较高预测准确定的同时，大幅度减小模型的大小和计算成本，优化计算效率，实现高效的模型预测，可以在较小的设备上运行。
案例：2023年3月，斯坦福发布了轻量级语言模型Alpaca。该模型在 LLaMA的基础上加入指令·Alpaca (羊驼)模型: 微调，只有70亿参数。可以在笔记本电脑上部署，甚至手机和树莓派上运行，但其性能可媲美 GPT-3.5 这样的超大规模语言模型
可以在小型设备上部署这点非常重要，比如手机，以后每个人都会有自己的模型，把你的微博、微信、点餐、购物、语言等数据上传到模型，AI就可以代替你跟别人聊天。个性化模型是大模型的终极化目标。
AIGC技术前沿探索
1.元学习和生物启发：如何借鉴生物絮和心理学的原理，让AI系统通过元学习等方式更快地适应新任务和环境？
2.无监督学习和自监督学习：如何减少对大量标注数据的依赖，让AI系统能够通过无监督或自监督的方式学习知识？
3.跨模态学习和理解：如何使AI系统能够处理和整合来自不同模态（如图像、语言、文本等）的信息，提高其理解和应用能力？
4.模型压缩和计算效率：如果减小AI模型的规模和计算资源需求，以便在边缘设备上部署和运行？
5.人工智能安全：如何预防和应对针对AI系统的攻击，如对抗样本、模型窃取和数据投毒等，确保AI系统的安全和可靠？
关于技术篇的内容到这里就结束了，接下来会讲到AIGC的产业篇。想了解ChatGPT、AIGC、人工智能，关注我吧！！!
热门跟贴