蓝海情报网

携带的迷你ChatGPT!新加坡大学推出首个迷你AI模型 4个月训练出3万亿个代币

蓝海情报网 400

携带的迷你ChatGPT!新加坡大学推出首个迷你AI模型  4个月训练出3万亿个代币

瞻观前沿

新加坡科技设计大学(SUTD)的卢伟副教授、研究助理张培元先生和博士生们最近共同开发了一个名为TinyLlama的开源小语言模型。在曾光涛先生和王天铎先生的带领下,这个模型拥有11亿个参数,在多个基准测试中均表现优异,甚至超过了其他同等规模的开源模TinyLlama只用了短短四个月的时间,就已经预训练了总计3万亿个代币的数据集。

目前的大型语言模型(LLM)如ChatGPT或Google Bard都是由OpenAI或Google等大型科技公司开发的,并且需要数千甚至数万个图形处理单元(GPU)的支持,用户需要在线连接到它们的海量语言模型服务器。相比之下,TinyLlama仅基于16个GPU构建,占用的随机存取存储器(RAM)仅为550MB。这意味着TinyLlama可以轻松部署在移动设备上,让每个人无论走到哪里都可以在口袋里携带一个迷你ChatGPT。

小型科技公司以及个人研究人员和开发人员越来越需要更少资源来运行的小型语言模型。因此,这些模型(例如TinyLlama)对他们来说更可行,并且更适合手机等边缘设备。这种模型的紧凑性也使得它们能够满足多种需要在没有互联网连接的情况下进行实时机器翻译的应用程序,这意味着用户可以离线访问语言模型。

携带的迷你ChatGPT!新加坡大学推出首个迷你AI模型  4个月训练出3万亿个代币

(图片来源:摄图网)

技术价值观察

AIGC全称为AI-Geneated Content,指基于大型预训练模型、生成对抗网络GAN等人工智能技术,通过已有数据寻找规律,并通过适当的泛化能力生成相关内容的技术。

AIGC产业可大致分为基础设施层、模型层及应用层,目前中国AIGC产业整体层级尚不够完整,模型层成为当前关键卡口。在一定程度上限制了上下层级的发展。

基础设施层:主要分为数据层、算力层、计算平台、模型开发训练平台和其他配套设施。模型层:即垂直化、应用化、场景化的模型和应用工具,主要分为底层通用大模型和中间层模型,底层通用大模型又可分为开源基础模型、非开源基础模型和模型托管平台;中间层模型有人类互动反馈、大模型调整和个性化模型。应用层:即面向C端用户的文字、图片、音视频等内容生成服务,按不同的价值创造逻辑,可分为生产可直接消费内容、结合底层系统生产高附加值内容、提供内容生产辅助工具、用于提供体系化解决方案四类。在这四类中,目前我国落地及变现进展最快的是生产可直接消费内容这一赛道。

迷你AI模型TinyLlama存取在存储器,可随身携带,适用于小型科技公司以及个人研究人员和开发人员,处于AIGC产业链应用层。

携带的迷你ChatGPT!新加坡大学推出首个迷你AI模型  4个月训练出3万亿个代币

宏观市场观察

中国AIGC行业市场份额

目前,中国AIGC行业互联网等大厂具有明显优势,纷纷将资源投入与主营业务结合,打造自己的大模型掌握行业定价权,实现自身生态更好的发展。故挑选了华为、百度、腾讯以及新晋独角兽企业小冰进行市场份额分析。

携带的迷你ChatGPT!新加坡大学推出首个迷你AI模型  4个月训练出3万亿个代币

携带的迷你ChatGPT!新加坡大学推出首个迷你AI模型  4个月训练出3万亿个代币

AIGC多行业渗透,渗透度高

据IDC,2022年中国人工智能行业应用渗透度排名前五的行业依次为互联网、金融、政府、电信和制造。另外,AI为自动驾驶、交通物流所赋予的价值也不容忽视,据麦肯锡预计,AI为交通领域创造3800亿元的经济价值。

携带的迷你ChatGPT!新加坡大学推出首个迷你AI模型  4个月训练出3万亿个代币

中国AIGC行业投融资仍处于起步阶段

从AIGC的投资轮次分析,目前AIGC行业的融资轮次仍处于早期阶段,D轮后的融资寥寥无几。根据前文的分析,2021年尽管AIGC行业的融资时间和融资金额水涨船高,结合轮次分析,也是主要集中在C轮之前,众多初创企业进入,获得了投资机构的关注和早期投资。

携带的迷你ChatGPT!新加坡大学推出首个迷你AI模型  4个月训练出3万亿个代币

中国AIGC技术赛道热力图

根据产业热力图显示,目前AIGC关键技术强相关的城市集群主要集中在西北、华北和华中地区,尤其是陕西省成为重点发展区域。这些城市群已投入大量政策、资金、环境和人才资源用于AIGC研发,成为潜在的AIGC技术发展中心。根据热力图的分布西北地区有极大的可能性成为AIGC技术的先导区域。重点关注陕西省西安市雁塔区、北京市海淀区、湖南省长沙市开福区等地的相关企业,以及这些地方对AIGC产业发展的投资环境和潜力市场。

携带的迷你ChatGPT!新加坡大学推出首个迷你AI模型  4个月训练出3万亿个代币

经济学人APP资讯组

看完觉得写得好的,不防打赏一元,以支持蓝海情报网揭秘更多好的项目。

标签:

ad2

推荐内容