top of page
Open Site Navigation

hand-dot.com

head1

id

Table of contents

アンケート,フィードバック等のデータ分析をChatGPT-4にさせる

動機

これまでアンケートをとる実装をしたりしたが、うまく分析の運用ができてなかった。

ChatGPTを使うことでコスト低く分析やレポートができるはずなので試してみる。


この記事の中で試したアンケート等のデータは下記。

  • マストハブ・サーベイ形式の自作アンケートフォーム

  • Hotjar

  • Stripe Sigma


これらのデータを使ってGPTで「インサイトを教えて！」みたいなことを言ったらどうなるのかという実験を行った。


結論

現状、ChatGPTで現実的にデータ分析できるかと言われるとデータ量に制限があり微妙。しかし今後のマシンリソースの改善に期待。


大量のアンケートを読み込ませたいのに、大量のアンケートを読み込ませるとエラーになるという点がまじで残念。

50~100件程度なら読み込ませることができるが、その量であれば１分程度で自分で確認して、なんとなく全体が感じていることを掴むことができる。


ここに関してはChatGPTの負荷が落ち着いたり、何かしらの改善がないと使い物にならないなと思った。

これはGPTに対する問題というよりも、単純にマシンリソースの問題である。


なので今回、やりたいことができたかといえば「No」ではあるのだが、上記の問題が解決された場合、目視ではすぐに把握できないデータをドンと読み込ませて、まとめてくれるということ自体はそれなりに使えるだろうと予想できる。これは確実に時間の短縮になるだろう。


上記でまとめたデータから気の利いたことを言ってくれというタスクに関しては、

GPTだと最大公約数的なことしか言えないのでそこは仕方がないのだが、まだ人間がやらないといけないかなという印象。


下記はどのように行ったのかメモや感想などをまとめている。気になる人はみてみてください。


マストハブ・サーベイ形式の自作アンケートフォーム x ChatGPT


仮説:

自作でサービスに組み込んでいた グロースハック完全読本に掲載されている“Must Have Survey” の形式で収集したデータをChatGPTに与えて何かしらの気づきが得られないか？


“Must Have Survey”自体の解説は下記を参考にしてください

https://www.handk-inc.co.jp/blog/product-survey

結果の判定は非常にシンプルで「すごくがっかりする」という回答が4割以上なら、そのプロダクトは立派にマストハブの域に達しており、成長を目指して走り出してもいいと言えるでしょう。とのこと。


スプレットシートに書くアンケートをjsonで保存していたのでそれを利用する


感想と評価: 65点

毎月300件以上の回答があるアンケートなのだが大量のアンケートの場合エラーになる。

その関係で50件程度しか読み込ませられなかった。なんかツイッターで見たが今はめちゃくちゃ混雑していて課金ユーザーでもちゃんと使えないとかなんとか。シャキシャキ返してくれないのがうざい…


統計に関しては

この統計のためにマクロ組んだり、スクリプト組むくらいなら直接GPTに投げた方が楽だよねぐらいの感想。


インサイトに関しては

サービスの認知度向上や口コミでの拡散が必要であることが示唆されています。　という指摘はごもっともなので、ちゃんと傾向を掴んでくれている感はある。


めちゃくちゃ感動するってわけではないが、それなりに分析してくれた感ある。


Hotjar x ChatGPT


仮説:

下記の

  • Feedback

  • Surveys

のデータをChatGPTに与えて何かしらの気づきが得られないか？

上記のページに遷移すればCSVがダウンロードできる


感想: 60点

インプットできる量に問題があり、全てのフィードバックを一度に読み込ませることができない。

しかもレスポンスも遅いというのが厄介だと感じた。

フィードバックの全てに目を通すのがめんどくさい時に使えるかなくらいの印象。


Stripe Sigma x ChatGPT


仮説:

StripeのCustomer Portalでのサブスク解約時のキャンセル理由を取得し、それらの結果をChatGPTに与えて何かしらの気づきが得られないか？


下記のブログ記事でやり方を解説しています。

https://www.hand-dot.com/post/stripe-subscription-cancel-reason


Stripe Sigmaで下記のSQLを実行することでキャンセル理由を取得することができる

select
  *
from
  subscriptions
where
  cancellation_reason is not NULL
  or cancellation_reason_text is not NULL
order by canceled_at

そのデータをCSVでダウンロードし利用する


感想: 70点

改善案はよくある回答って感じだが、まあサービス自体を伝えられていないのでこの程度のものだろうという感想。


ただ統計を出すだけならGPT-3.5でいい説がある



全体感の把握という意味では効率的に行うことができた。普通に便利。

SQLからデータをとって感想を言えみたいな利用シーンだと割と便利そうですね。


あとがき


CSVを扱う上で中間でいろいろアプリを開いて、フィルターかけたりするのNumbersとか、スプレットシートなど試したが、sqliteviz.com というCSVをSQLite見たいにブラウザから扱えるツールが便利ということを発見した。


まとめたりするタスク。具体的にはエクセルマクロやちょっとしたスクリプトで今までやっていたことを代わりにGPTがやってくれるとしても、

どのデータを使うか(そもそもデータを計測するところから作れるのか？)、どこからもってくるか、データはどのようにGPTに渡すか(命令文も含めて)という部分は人間がやる必要がある

bottom of page