分析了数百万ChatGPT用户会话后发现的秘密
AI魔法学院
2023-09-07
分享海报

生成式人工智能,尤其是 ChatGPT 已经吸引了科技媒体、主流媒体以及几乎各个领域的专业人士的讨论。怎么会打扰你的工作呢?!人工智能会取代你吗?好莱坞作家、房地产经纪人、遛狗者和麻醉师还有用吗?

Datos的优秀人员选择加入,由 2000 万台设备(桌面和移动设备,覆盖 200 多个国家/地区)组成的匿名面板提供了对真实人们在网络上所做的事情的出色洞察,我们开展了一个具有挑战性的项目来回答至少有一些围绕 ChatGPT 的谜团。

调查#1:ChatGPT 的使用是否在增加?


如果您一直在阅读《ChatGPT Forecasts Use to Grow 900%》或《ChatGPT Achieves in Six Months What Facebook Needed a Decade to Do》等令人屏息的文章,那么您可能会认为代币预测文本系统具有每个风险投资人都渴望的东西。之后:J 曲线增长。但是,更有洞察力的观察家可能已经注意到最近的帖子:来自 ChatGPT 的丑陋数字揭示人工智能需求已经萎缩或《华尔街日报》和《华盛顿邮报》的类似报道。

首先,从总体上看一下 OpenAI.com 的流量:



自 5 月份以来,OpenAI 流量已下降 29.15%。有多种理论可以解释这一点,但并不表明生成式人工智能的兴趣或使用实际上正在下降:

  • 理论 A)专业/常规使用仍处于历史最高水平或不断增长;只有新用户/那些没有特定任务的检查者正在下降

  • 理论B)大量使用与功课有关,美国、加拿大和其他暑假国家的教育用户是海市蜃楼下降的原因

Datos 的点击流面板收集了数百万台选择加入其面板的设备访问的每个 URL,从中我们不仅可以看到 OpenAI 的每月流量,还可以看到这些设备的访问量。这应该有助于我们验证或排除理论 A。

我要求 Datos 向我们提供自去年(2022 年)9 月以来 OpenAI 的所有面板流量(按访问次数/月)的明细。该分布如下图所示:


在这里我们可以看到,自 5 月份以来,每月 1-2 次的访问量确实有所下降。该群体在 12 月之后也出现了大幅下降(当时有关 ChatGPT 3 功能的突发新闻刺激了首次使用量的迅速增长)。但理论 A 的基本原理无法抵挡对每月访问次数为 3-10 次的设备或每月访问次数超过 11 次的设备的分析。自五月份以来,这两项指标均显下降。事实上,自 4 月份以来,每月访问次数超过 11 次的设备数量一直在下降!

这就给我们留下了第二个理论:教育用户要为下降负责。鉴于自 4 月份以来数字不断下降,这已经是一个艰难的推销,但由于揭示答案的过程揭示了更多有关 ChatGPT 用途的信息,让我们继续深入研究。

调查 #2:人们要求 ChatGPT 解决哪些任务?


教育用例是否推动了 ChatGPT 的采用?我们是否正在培养使用人工智能来完成大多数办公室工作任务的一代学生?或者,相反,ChatGPT 是否正在回答取代 Google 搜索的问题,消除对软件程序员的需求,或者可能填补角色扮演游戏桌上劳累过度的讲故事者的空缺?

为了回答这些问题,Datos 向 SparkToro 提供了来自 ChatGPT 的 7,000 多个真实用户提示,然后我们将其过滤为最可信/相关的 4,098 个(删除了只有几个单词或无意义的乱码/表情符号/什么都没有的提示&语言/等)。结果令人着迷。

首先,我将细分每个会话的提示数量:



我们可以从上面看到,ChatGPT 的用户几乎均匀地分布在单个提示、2-4 个提示和 5 个以上提示会话之间(各 1/3)。但是,这种类型的分析并不能告诉我们人们正在使用这些提示做什么,并且由于 Datos 能够提供 ChatGPT 页面的全文,因此我们分析了这些内容(使用可用的最佳主题分类系统之一:ChatGPT 本身)



我首先要求 ChatGPT 提供精细的分类,然后采用其中最常见的分类(在 4,098 个独特提示中,只有约 20 个占 95% 以上),并手动将它们分类到顶级类别中,您可以在上面看到。编程是最大的用例,所有提示系列中的 29.14% 属于此用例。这也是最清晰/最不模糊的。我手工检查了每个提示系列中的 100 多个(这是一项艰巨但令人着迷的任务),以确认分类器的准确性,并且每个提示中都提供了编程帮助(包括编写特定的代码位、格式化代码、捕获代码中的错误等)。一个 ChatGPT 被标记为此类。

正如其他人经常指出的那样,该工具擅长执行与编程相关的任务。难怪它如此受欢迎。

接下来是教育——但不仅仅是小学或中学教育。个人知识或兴趣追求以及工作目的的专业知识也都包括在这里。与内容创作相同——有些显然是个人的(D&D 地下城主需要谜语或冒险任务是数据集中反复出现的最爱),而另一些则是专业的(“给我写一篇关于底特律管道问题的 500 字博客文章”——大概是一个内容营销人员厌倦了自己编写材料)。

销售和营销用例与内容创建重叠,但我选择将它们分开,以帮助仅查看那些只能归类为帮助销售+营销专业人员完成任务的会话(分析分析、有关推广其产品的渠道的问题)产品、广告优化任务,甚至消息/促销帮助都在数据集中)。

为了更好地说明这项调查,我提供了几乎完整的子类别细分(除了我合并的一些高度重叠/主观的子类别):



我使用了上面饼图中的颜色编码,使这种分类更易于浏览,例如“写作帮助”、“个人内容创建”、“创意构思”和“专业内容创建”,都是灰色的颜色编码,因为它们适合更广泛的“内容”用例。

高等教育、小学教育和家庭作业都是 ChatGPT 分类会话的子类别,这些类别合计约占所有用例的 10%。这还不足以解释从 4 月/5 月到 7 月的流量下降约 29%,因此,我认为我们可以给理论 B 的棺材上钉上一颗钉子。

我还发现分析 ChatGPT 提示会话中一些最常见的单词很有趣。对于那些好奇的人,我提供了以下可视化图表:



“写作”、“创建”和“列表”可能是 ChatGPT 提示中显而易见的动词。但是,在所有提示会话的 2.39% 中找到“SEO”吗?令人震惊!看到“游戏”,4.66% 又是一个惊喜。在此细分中没有出现,但仍然有趣且有趣(至少对我来说)是:

  • 法官 0.61%

  • 软件即服务 0.56%

  • 定价0.54%

  • 课程 0.46%

  • 就业 0.44%

  • 雇主 0.39%

  • 律师 0.37%

  • 推文 0.34%

  • 电影 0.32%

  • DnD(或 D&D)0.17%

  • 角色扮演 0.15%

正如我所说,使用 ChatGPT 的角色扮演故事讲述者的数量令人惊讶。也许孩之宝/海岸奇才队的人们应该考虑在 DnDBeyond 的下一次升级中这样做。


备注:我认为博主忽略了一点,编程占比最大,在5月以后,GitHub、及很多LLM都发布了编程助手。另可关will:financeYF5


原文链接:https://sparktoro.com/blog/we-analyzed-millions-of-chatgpt-user-sessions-visits-are-down-29-since-may-programming-assistance-is-30-of-use/

© THE END

转载请联系本网站获得授权

投稿或版权问题请加微信:skillupvip