导语:ChatGPT 火出圈,各行各业纷纷在思考和实践如何借助 ChatGPT 降本增效。用户研讨工作中涉及到大量知识获取、文本归纳、数据分解、价格洞悉等工作,无疑也是 ChatGPT 发挥作用的场景之一。本文就 ChatGPT 在用户研讨场景中的作用做了初步探索,总体来看 ChatGPT 尚不能完全取代用户研讨员,但也展现出多种辅助用户研讨工作的潜力。
更多ChatGPT案例:
一、ChatGPT 简介
ChatGPT 是 OpenAI 推出的自然语言对话机器人,在推出不到两个月的时间里,月活就突破了一亿。与之相比,TikTok 和 Instagram 达到这一成绩分别用时九个月和两年半。在业界,微软于 2 月初火速上线整合 ChatGPT 的 Bing 搜索,还计划将其整合进 Office 全家桶,在落地应用上大踏步前进。与此同时,谷歌也紧急上线竞品 Bard,正面硬刚(虽然首秀翻车,给出错误谜底,导致股价大跌)。此外,百度、阿里等国内科技企业也纷纷开始类 ChatGPT 的开发和内测。
对于 ChatGPT 是什么,相信大家已经有所了解,这里就偷懒让 ChatGPT 亲自答一下(图 1)。相比于之前的聊天机器人,ChatGPT 在语言理解、表示等方面都有非常惊艳的表现,而这离不开其背后强大的技术。
图 1 ChatGPT 自我介绍
ChatGPT 的这些能力在整合搜索结果、写代码、Debug、写文章等应用场景中表现亮眼。但同时也存在不少局限,比如数学能力低、回复啰嗦等。此外 ChatGPT 虽然可以拒绝回答违法违规(比如如何偷东西等)、超出能力范围(比如预测大赛冠军等)的问题,但目前其实是可以通过“我们来玩角色串演的游戏吧”的方式绕过去。
比如“赛博算卦”~~首先直接让 ChatGPT 算卦会被无情拒绝(图 2),ChatGPT 说作为一个 AI 模型,它无法推算八字排盘和流年运势。但换一种思路,我们可以和 ChatGPT“商量”玩算命先生的游戏,让 ChatGPT 串演算命先生,我们来串演顾客,从而获得回答(图 3),虽然我不懂算卦,但谜底看上去还是很专业的。
图 2 ChatGPT 拒绝算卦
图 3 和 ChatGPT 玩算命先生的游戏(参考自 https://www.zhihu.com)
二、ChatGPT 能替代用户研讨吗?
虽然还存在着这样那样的局限性,但 ChatGPT 所显现出的巨大应用潜力使得关于 ChatGPT 可以取代哪些职业的讨论成为当下的热门话题。不禁让从事用户研讨工作的我好奇:ChatGPT 能够给用户研讨带来什么样的改变?会让用户研讨员失业吗?
怀着这样的想法,我试着使用 ChatGPT 对数字藏品的价格进行用户调研,包括案头分解、研讨设计、访谈执行和分解、问卷设计和分解以及报告撰写等主要研讨环节。从初步的探索来看,当前 ChatGPT 显然不能完全取代用户研讨员的工作,但是在以下四个方面已经展现出其作为辅助工具,为用户研讨降本增效的潜力:
高效整合实质的搜索引擎:提高在理解需求和概念、获得 HowTo 谜底(尤其是程序有关)等方面的效率;
能力多样的“配菜员”:供给初步的研讨框架、访谈提要等,针对访谈记录、数据结果归纳关键信息等,辅助研讨员在此基础上窜改提高;
提高实质表示的润饰工具:根据需求转换成不同风格的表示、识别错别字等,但当前英文比中文的润饰效验更好;
用户访谈降本增效的“模拟器”:通过让 ChatGPT 串演主持人访谈用户,或者串演典型用户接受访谈,提高用户访谈的效率。
让我们依次看下 ChatGPT 在这些方面的具体表现:
1. 高效整合实质的搜索引擎
和传统搜索供给多个有关结果不同,ChatGPT 能够根据多个搜索结果,供给整合后的实质。这种高效整合实质的能力可以帮助用户研讨员在需求理解、案头研讨、数据分解等环节更快速地获得高价格(如有关性高、归纳性强、废话少等)的知识性实质。
比如针对“数字藏品的核心价格”的研讨问题,在需求理解、案头研讨阶段,通过询问“什么是数字藏品”(图 4),ChatGPT 用清晰有条理的实质介绍了数字藏品的概念、技术特点等。还可以通过进一步追问,得到如 ChatGPT 对数字藏品的价格(图 5)、具体的艺术价格(图 6)、有关研讨资源推荐(图 7)等更为详实的回答,这些实质确实可以帮助我们更快速地加深对研讨主题的理解,辅助和启发研讨方案设计等。
图 4 数字藏品概念释义
图 5 数字藏品有哪些价格
图 6 追问数字藏品的艺术价格
图 7 推荐有关研讨资源
但在此过程中,特别需要我们提高警惕,注意对 ChatGPT 谜底的真实性和准确性进行判断、交叉验证等。这是因为 ChatGPT 会很“自信地”输出一番胡扯的实质(图 8),如果缺乏有关背景知识的话,就很容易被误导。此外 ChatGPT 无法供给生成谜底所依据的特定参考文献(图 9),也提高了对实质交叉验证的难度。
图 8 对某数字藏品平台的一番胡扯
图 9ChatGPT 无法供给谜底的参考文献
除了可以供给研讨主题有关的知识外,ChatGPT 也可以在数据分解等阶段对数据分解的方法、实现代码供给直接的指导,比如“如何使用 Excel 计算平均值、TGI 指数”(图 10),ChatGPT 就给出了公式和操作步骤,研讨员照着谜底操作即可。但目前 ChatGPT 对常用的数据分解软件 SPSS 的支持效验有限,比如“根据变量 A 的选项生成新的变量 B”的 SPSS 语句(图 11)就是错误的,猜测和 ChatGPT 训练数据集中 SPSS 有关知识实质较少有关。
图 10 ChatGPT 对使用 Excel 计算平均值、TGI 指数的指导
图 11 针对 SPSS 语句实现,ChatGPT 给出错误谜底
但总的来说,作为高效整合实质的搜索引擎,ChatGPT 可以帮助研讨员快速地了解有关的研讨主题,辅助和启发研讨方案设计等,也能供给数据分解方法的指导。但在此过程中,需要研讨员特别注意 ChatGPT 谜底的真实性、准确性,且目前对 SPSS 的支持不如 Python、Excel 的效验好。
2. 能力多样的“配菜员”
ChatGPT 在用户研讨工作中,第二个可能的应用是作为能力多样的“配菜员”,从访谈逐字稿、问卷数据中提炼关键信息,或者根据研讨员的诉求供给诸如方案设计、问卷大纲等多种建议,提高研讨员分解数据获得洞悉、撰写访谈提要或者问卷等任务的效率。
在这一部分,让我印象最为深刻的是 ChatGPT 分解归纳原始数据的能力,比如我根据真实用户的访谈记录改编出以下三个用户对使用过的数字藏品平台的评价:
用户 1:“我玩的跟他差不多,也就两个,一个平台 A 一个平台 B,像那种官方发出来的那种在自己那里抽奖的那些我也会看,但是像那种野牌子我一般是不会去玩,那种野牌子感觉没有什么大公司,我怕我买完收藏了,他就什么都没了,这种就不会错的。然后区别其实我主要是看文物的,别的我其实看的少,我感觉也没啥区别。”
用户 2:“首先第一个最大区别就是因为国内的数字藏品发售的话都是以公司为主题,但是国外的首先他只是在中介平台上传自己的图片,然后进行发布,这其实是国内外最大的一个区别,然后国内的区别的话,第一个我觉得是公司可信度不同,就比如说在平台 B 上面买的话我完全不用担心这个数字藏品会不见了,然后还有就是小公司的话就是像他说的会非常容易怕跑路,我收藏的东西就不见了,然后每个平台的话其实他会有锚定的点,就是我发售的藏品的主题实质会有什么不同,有一些他会发售类似说什么古代人物这种,有一些像平台 B 这种的话就是主做博物馆里面的藏品什么的,还有类似我刚才说的明星那种,就每个做的实质他会不同,大概就这些。”
用户 3: “我主要玩的话就是平台 C 和平台 D,他们不同的话那个平台 D 大部分都是古风还有文物之类的,然后平台 C 很多衍生的吧,就改的比较厉害的,很多二创的那种,然后他发行的东西也就不一样,就经常很多种类嘛,买的就比较多了,平台 D 就要少一点,他那个发行时间要慢一点,东西就少一点,可以选择就少一点。”
然后让 ChatGPT 从中归纳出和数字藏品平台有关的关键信息(图 12)。我们看到 ChatGPT 归纳的质量已经比较高了,基本上覆盖了用户提到的关键点,比如平台可信度很重要、不同平台的实质存在差异等。虽然 ChatGPT 的归纳还仅限于原文观点的提炼,而不能进行更多的关联分解(比如从第一点平台可信度可以得出用户需要平台背书来确保数字藏品的安全,但基于区块链的数字藏品在技术上本身就具有永久有效、公开透明的特性,造成这种差异的原因可能是现实中数字藏品依然依托于中心化平台的运营,也可能是用户对数字藏品的技术特性缺乏认同等),但已经可以很好地作为进一步提炼洞悉的材料了。
图 12 ChatGPT 归纳出的与数字藏品有关的关键信息
除了归纳访谈记录,ChatGPT 也能从问卷数据中得出关键信息,比如表 1 是两种数字藏品用户类型在选购数字藏品时,会主要考虑哪些因素的统计数据(非真实数据):
表 1 收藏用户和投资用户选购数字藏品时主要考虑的因素(非真实数据)
我们可以让 ChatGPT 分解两种类型用户在选购因素上的差异(图 13),甚至可以直接让 ChatGPT 根据选购因素得出如何设计数字藏品的建议(图 14)。可以看到,和访谈记录归纳类似,ChatGPT 能够针对统计数据得出初步分解结果(比如两种用户更看重的选购因素),但需要研讨员在此基础上做更深度的洞悉提炼。
图 13 对比两种用户在选购因素上的异同
图 14 根据选购因素得出数字藏品设计的建议
此外,ChatGPT 还可以针对研讨方案(图 15 和图 16)、访谈提要(图 17 和图 18)、访谈中追问(图 19)、问卷设计(图 20)、数据可视化(图 21)等供给初步建议,这些建议的质量参差不齐,总体来看离真正可用的方案、提要等尚有不小的距离(比如问卷题目和选项过于简单、数据可视化建议效验不佳等),但已经可以用来启发研讨员在此基础上窜改完善。
图 15 ChatGPT 撰写研讨计划
图 16 追问研讨对象如何分组
图 17 撰写深度访谈大纲
图 18 根据访谈提要追问具体的访谈问题
图 19 访谈中追问什么问题
图 20 撰写问卷题目和选项
图 21 数据可视化建议
总的来看,ChatGPT 在用户研讨的多个环节中均有着串演“配菜员”的潜力,如分解访谈记录、问卷数据,归纳其中的关键信息,或者就研讨方案、访谈提要、问卷题目等供给建议。从目前的效验来看,ChatGPT 的谜底并不是真正可用的方案、提要、问卷、洞悉等,但确实可以提高如归纳访谈记录、分解问卷数据的效率,为研讨员进一步分解,得出更高价格的洞悉供给了丰富的原材料。
3. 提高实质表示的润饰工具
ChatGPT 窜改文案的能力在用户研讨工作中也有用武之地,比如窜改问卷题目、报告实质中的错别字。如图 22 所示,ChatGPT 成功识别并窜改了“参于”、“资质”、“隆资”这几处错别字,并在“甚至”前添加了逗号提高表示准确性。其窜改效验还是比较惊艳的。
图 22 错别字窜改
此外相信有不少研讨员在撰写英文报告时,担心自己写出的句子比较生硬、词不达意。在这方面,ChatGPT 可以很好地帮助我们提高英文报告的表示,比如使用更精准更地道的词汇、更符合英语母语的表示习惯等。
要实现这一点的话,需要用到 ChatGPT 更“高端“的玩法,即通过适当的提示语(Prompt)让 ChatGPT 串演特定风格的英文翻译,将输入的实质在不改变其意思的情况下,翻译成更优美高端的英文(当然也可以尝试其他风格,比如更 concise 等):
I want you to act as an English translator, spelling corrector and improver. I will speak to you in any language and you will detect the language, translate it and answer in the corrected and improved version of my text, in English. I want you to replace my simplified A0-level words and sentences with more beautiful and elegant, upper level English words and sentences. Keep the meaning same, but make them more literary. I want you to only reply the correction, the improvements and nothing else, do not write explanations. My first sentence is “很高兴认识你”
图 23 展示的就是“数字藏品交易的投机炒作氛围浓厚,买家会面临如庄家控盘、平台跑路、实质侵权、无人接盘等风险”这句话的英文翻译结果,和直接翻译的结果对比(图 24),确实效验更好一些。
图 23 翻译并提高英文表示
图 24 直接翻译成英文
总的来说,ChatGPT 在窜改错别字、提高英文表示方面均有不错的表现,确实可以帮助我们更高效的润饰输出的实质,比如访谈提要、问卷题目、洞悉报告等。
4. 用户访谈降本增效的“模拟器”
在作为润饰工具的部分,我们分享了 ChatGPT 的“高端”玩法,即使用 Prompt 将其“调教”成特定风格的英文翻译。这种玩法可以使 ChatGPT 串演各种各样的角色,比如心理咨询师、面试官、体育评论员等等(在此推荐一个有关 Prompt 的 GitHub 仓: https://github.com/f/awesome-chatgpt-prompts ),让 ChatGPT 的应用场景扩展了不少。
回到用户研讨,很自然地就会想到:让 ChatGPT 串演主持人的角色,访谈用户的效验如何,能不能自动化访谈?或者反过来,让 ChatGPT 串演某类典型用户接受访谈,它的回答和真实用户的回答相差多少?能不能作为典型用户的初步洞悉?
我们先来看下 ChatGPT 串演主持人访谈用户的效验(图 25),这里我让 ChatGPT 串演成一位访谈主持人,目的是通过询问用户问题来弄清楚“数字藏品(NFT)的核心用户价格是什么”,相应的 Prompt 是:
I want you to act as an user interviewer, you job is to figure out the core user value of NFT. I will be the user and you will ask me the interview questions about NFT. I want you to only reply as the interviewer. Do not write all the conversation at once. I want you to only do the interview with me. Ask me the questions and wait for my answers. Do not write explanations. Ask me the questions one by one like an interviewer does and wait for my answers. My first sentence is “Hi”
我们看到 ChatGPT 的表现还是比较惊艳的,它没有直接询问“你觉得数字藏品有哪些核心价格?”,而是从如何理解数字藏品这个概念入手,询问了一系列有关问题,比如如何知道数字藏品、如何在日常生活中使用数字藏品、数字藏品最大的好处等等。虽然在这个 case 中,ChatGPT 并没有能够结合上下文来追问用户,但当前的表现已经足以让我们思考 ChatGPT 是不是能够代替我们自动访谈用户,就一些简单的、结构清晰的研讨问题供给访谈洞悉。
图 25 ChatGPT 串演主持人访谈用户
看完 ChatGPT 串演主持人的效验,让我们继续看下它串演某类典型用户接受访谈的表现(图 26)。首先通过以下 Prompt 让 ChatGPT 串演一位年轻的数字藏品用户:“她”是一位 20 岁的在校大学生,爱好广泛比如聚会、看电影、逛街等等。然后就可以通过询问数字藏品有关的问题来挖掘“她”对数字藏品的看法。
I want you to act as a NFT user, you are a 20-year-old college girl, you have a lot of hoppies, like partying, watching movies, shopping with your besties etc. I will be the interviewer and I will ask you the interview questions about NFT. I want you to only reply as this girl. Do not write all the conversation at once. Wait for my questions and give me answers. Do not write explanations. My first sentence is “Hi”
图 26 ChatGPT 串演典型用户接受访谈
总体来看,ChatGPT 的表现持续惊艳,比如询问“她”是如何知道数字藏品的,“她”给出的回答是“玩数字藏品的好友分享给她的”。当重复“她”觉得 NFT 很 cool 的看法后,“她”回答到“数字藏品改变了我们对数字世界所有权和价格的看法”等。这些回答从主观感受上看确实很贴近我们访谈到实际用户。
所以展开想象力,这会不会改变今后用户研讨的流程?比如在访谈真实用户前,能不能先让 ChatGPT 串演几种典型用户来获得初步洞悉,之后再进行真实用户访谈以验证和补充?当然在此之前还有很多的问题要回答,比如如何使用 Prompt 更准确地描述典型用户(如需要哪些变量?),ChatGPT 串演典型用户的准确性和有效性有多高等等。但无疑 ChatGPT 的表现已经足以让我们开始类似的思考。
归纳
归纳一下,通过上述初步的探索,我会觉得 ChatGPT 在未来的用户研讨工作中,可能成为降本增效的辅助工具:作为高效的搜索引擎,提高获取知识的效率;也可以作为能力多样的“配菜员”,供给诸如访谈初步归纳、数据分解结果、访谈大纲等实质,辅助研讨员完成研讨设计、洞悉分解等;还能作为实质(尤其是英文实质)的润饰工具,窜改错别字、转换不同表示风格等;最后也显示了其作为主持人执行访谈或者串演典型用户接受访谈的潜力。
当然 ChatGPT 距离真正可用的用户研讨辅助工具还有一段距离,比如需要用户研讨领域的知识对模型进行 Fine-tune 以提高谜底质量,再比如需要定制化的交互方式,以提高在用户研讨工作中,与 ChatGPT 交互的体验和效率等等。
此外,对于有兴趣继续探索 ChatGPT 应用的同学,分享三个 Tips:
多试几次,以比较不同的回答;
学会提问,明确需求,由粗到细引导,并且注意之前输入实质的影响;
保持独立思考和批判性思维,时刻警惕实质的真实性、准确性,避免被 ChatGPT 牵着鼻子走。
最后,对于 ChatGPT 能否替代用户研讨,我认同:“AI will not replace you. A person using AI will.