KHỞI NGHIỆP 16_ANH VIỆT

Phỏng vấn người dùng như thế nào?

Lecture 16 - How to Run a User Interview (Emmett Shear)

KHỞI NGHIỆP 16

Chào! Chào buổi chiều! Khách mời hôm nay là Emmett Shear. Emmett là CEO của Twitch, đã được mua lại bởi Amazon, và vẫn làm ở đó. Và Emmett sẽ dạy bài học mới hôm nay, nói về cách làm sao phỏng vấn người dùng. Vì nói chuyện với người dùng là điều rất hữu ích cho start-up. Cảm ơn vì đã tham gia! >> Các máy chủ danh bạ sẽ biết tôi đi đâu từ bây giờ.

Tôi bắt đầu start-up đầu tiên với Justin Kan ngay sau khi rời trường. Chúng tôi lập công ty tên là Kiko Calendar. Nó chạy không tốt lắm, chỉ tạm tạm. Chúng tôi xây nó, rồi bán nó. Bán nó trên eBay. Nên đó không phải là kết cục mà bạn muốn đối với một start-up. Nhưng đó là dịp tốt. Chúng tôi học được rất nhiều về lập trình.

Chúng tôi không biết gì về lịch biểu. Chúng tôi cũng không phải là người dùng lịch. Trong thời gian đó, chúng tôi cũng không nghĩ tới chuyện phải nói chuyện với người dùng lịch. Nên nó không được tối ưu lắm. Chúng tôi tạo ra một sản phẩm kém, vì chúng tôi không chịu nói chuyện với người dùng. Trong start-up thứ hai, chúng tôi đã dùng một chiêu khá thông dụng, để không cần phải nói chuyện với người dùng, đó là chính mình trở thành khách hàng.

Chúng tôi có ý tưởng về Justin TV, một chương trình truyền hình thực tế về cuộc sống của Justin Kan. Và chúng tôi đã làm một loạt công nghệ và website cho chương trình thực tế này. Và chúng tôi là người dùng cho sản phẩm đó. Và cách ăn gian để không cần phải nói chuyện với những người dùng khác là cứ làm một sản phẩm thực sự để cho bạn sử dụng.

Bạn không cần hỏi ý kiến người khác, vì bạn biết mình muốn gì và cần gì. Nhưng nó vẫn rất hạn chế, đặc biệt là khi start-up. Hầu hết các start-up không chỉ được lập ra chỉ để phục vụ một người. Khi làm cách đó, có khi bạn sẽ gặp may. Vì bạn đại diện cho một nhóm đông đảo những người có cùng một mong muốn giống vậy.

Nhưng thông thường, nó sẽ chỉ là một dự án nhỏ chẳng có kết quả gì lớn. Và chúng tôi tiếp tục làm JustinTV và cũng đạt được thành công nhất định, vì hóa ra cũng có nhiều người có mong muốn giống chúng tôi, đó là tự phát sóng chính mình lên Internet. Nhưng vấn đề với JustinTV là... vấn đề cản trở chúng tôi đó là vì chúng tôi chưa tìm được cách làm sao để xây dựng nó vượt hẳn lên kiểu chương trình ban đầu?

Chúng tôi đã có sản phẩm rất tốt. Nếu bạn muốn phát sóng chính mình suốt 24/7, bạn có thể dùng chúng tôi. Chúng tôi có đúng thứ bạn cần. Nhưng nếu bạn muốn hơn thế nữa, nếu muốn mở ra cho nhiều người hơn, nhiều trường hợp sử dụng hơn, chúng tôi vẫn chưa biết làm sao, vì chúng tôi không thuộc nhóm người dùng đó. Thế nên, lúc đó chúng tôi quyết định chuyển hướng JustinTV sang một hướng mới.

Chúng tôi đã có một công nghệ rất giá trị, nhưng vẫn chưa xác định được cách dùng để nó bùng nổ. Có 2 hướng có vẻ hứa hẹn. Một là mảng di động. Và một là mảng game. Và tôi lãnh đạo mảng game trong công ty. Và chúng tôi đã làm một điều rất khác với mảng game, một điều chưa từng có. Đó là chúng tôi thực sự nói chuyện với người dùng.

Bởi vì tôi thích xem người khác chơi game, tôi hiểu rõ rằng tôi và tất cả mọi người trong công ty đều chẳng ai biết gì về phát sóng game. Vậy, tôi rất phấn khích, tôi nghĩ sẽ có thị trường, với một góc nhìn trong cuộc của chính tôi, vì lúc đó chưa phổ biến, rằng xem chơi game thực sự rất vui. Giơ tay nhé! Ở đây có ai xem người khác chơi game trên internet không?

Được rồi. Tôi muốn đảm bảo rằng mọi người hiểu tôi đang nói gì. Nếu bạn chưa từng xem phát sóng chơi game trên internet, hãy tìm hiểu và xem thử. Vì đó là bối cảnh quan trọng về những thứ mà tôi đang nói. Nhưng... điều quan trọng là... tôi nghĩ mảng này rất tuyệt, nhưng lại chưa biết những điều quan trọng về nó, đó là cách làm nội dung để phát sóng.

Thế là chúng tôi ra ngoài, và chạy một chương trình phỏng vấn người dùng với số lượng rất lớn. Chúng tôi nói chuyện với... rất nhiều người, và thu thập dữ liệu về, và biến nó thành nền tảng cho mọi quyết định trong 3 năm tiếp theo về các tính năng của Twitch, hoàn toàn dựa vào những thông tin đó. Và chúng tôi tiếp tục nói chuyện với người dùng, và thực tế có một bộ phận mà công việc của họ chỉ là nói chuyện với người dùng thôi.

Đó là một bộ phận lớn mà chúng tôi chưa từng có ở JustinTV. Trước đây chẳng có ai làm việc nói chuyện với người dùng cra. Vậy, ở Twitch là vậy. Và tôi muốn nói với các bạn một chút về... góc nhìn bên trong... của Twitch, rằng nói chuyện với người dùng có ý nghĩa thế nào? Vậy, chúng tôi xác định rằng người phát sóng là đối tượng quan trọng nhất.

Và lý do chúng tôi xác định như thế là vì... khi nhìn vào thị trường, chúng tôi tìm xem yếu tố nào quyết định tại sao họ lại theo dõi một người phát sóng, hay một website nào đó? Để theo dõi nội dung, phải không? Bạn thích một nội dung, và có người phát sóng nó cho bạn. Và một điều mấu chốt trong phỏng vấn người dùng chính là bạn nghĩ ai là người quan trọng, cũng như bạn sẽ hỏi gì để lấy được thông tin cần thiết.

Vì nếu bạn đi phỏng vấn người dùng, mà chỉ hỏi người xem thì phản hồi sẽ hoàn toàn khác với người phát sóng. Và nói chuyện với người phát sóng giúp chúng tôi biết cách làm sản phẩm cho họ. Hóa ra đó lại là chiến lược đúng đắn. Tôi ước gì có thể cho bạn biết công thức để xác định người dùng mục tiêu đối với sản phẩm của bạn.

Nhưng không có công thức nào cả. Bạn sẽ phải vắt óc suy nghĩ, và tự phán đoán để xác định xem bạn làm sản phẩm này cho ai? Và giờ tôi muốn tới phần có tính tương tác hơn một chút. Đó là... Tôi thấy rất nhiều ý tưởng từ các bạn. Các bạn đề xuất ý tưởng, tôi sẽ chọn một cái. Và tôi muốn mọi người cùng thực hiện các bước của quy trình này với tôi.

Đó là hãy nghĩ xem bạn sẽ đi hỏi ai? Nhóm người nào? Bạn phải đi đâu để tìm được những người bạn cần hỏi? Để biết được bạn cần phải phát triển những gì. Vậy ý tưởng mà tôi sẽ sử dụng là... để xem nào.. Ở đây là một ý tưởng về ứng dụng ghi chú. Ý tưởng là tôi nghĩ cách ghi chú bình thường chưa đủ tốt.

Và tôi muốn làm ứng dụng ghi chú để cải thiện trải nghiệm đó, giúp việc ghi chú trong lớp dễ dàng hơn, hoặc ghi chú khi học online tốt hơn. Vậy, có thể nó sẽ cần tính năng làm việc nhóm, hoặc giúp bạn tập trung tốt hơn, hoặc hỗ trợ các tính năng đa phương tiện, chẳng biết nữa... Rất nhiều hướng để chọn. Nhưng ý tưởng là vậy.

Bây giờ hãy thử dành ra 120 giây, và nghĩ xem bạn sẽ hỏi gì? Tính năng chủ chốt là gì? Bạn sẽ hỏi ai? Ai sẽ phản hồi cho bạn? Ai sẽ nói cho bạn biết sản phẩm này có tốt không? Tôi nghiêm túc đấy, ngay bây giờ. Lấy laptop ra, gõ đi, hoặc viết ra. Hãy nghĩ về... bạn nghĩ điều đó trong đầu cũng được, nhưng tốt hơn nhiều nếu bạn viết ra.

Hãy liệt kê ra 5 người mà bạn sẽ nói chuyện, 5 loại người mà bạn sẽ hỏi. Và ai là người quan trọng nhất? Và hãy làm thật. Bởi vì không có cách nào hay hơn là thực hành và làm thật, để thực sự ghi nó vào trong đầu, đó là cách tốt nhất. Tôi rất vui khi nghe tiếng gõ bàn phím ngay lúc này. Nếu bạn đem bài tập này về nhà, hãy làm thật.

Hãy nghĩ xem bạn sẽ hỏi ai? Bởi vì đó là câu hỏi đầu tiên mà hầu hết các start-up cần phải trả lời: Người dùng của tôi là ai? Và tôi tìm họ ở đâu? Vâng, quá ngắn so với thời gian bạn phải dành ra để nghĩ về vấn đề này. Đây là một vấn đề rất khó. Rất khó để tìm được nơi người dùng tập trung.

Nhưng chúng ta cứ tiến hành thôi, một phiên bản siêu ngắn gọn về cách phát triển sản phẩm và phỏng vấn người dùng. Vậy... có ai tình nguyện lên đây và cho chúng ta biết bạn sẽ nói chuyện với ai không? Rồi chúng ta sẽ nói về chuyện đó. Các bạn ở đây đều được chọn trước. Đây xin mời. Tôi không biết làm sao bật... À đây rồi.

Vậy bạn sẽ nói chuyện với ai? >> Chắc chắn em sẽ hỏi sinh viên đại học trước, vì rõ ràng tụi em phải đi học rất nhiều, và đặc biệt là những sinh viên phải đi học rất nhiều môn khác nhau, để hỏi xem, ví dụ môn Tiếng Anh có gì khác với môn học như Toán hoặc Khoa học Máy tính, về mặt ghi chú bài giảng?

Vậy... bạn sẽ đi nói chuyện với rất nhiều sinh viên. Bạn có chọn ra một nhóm sinh viên cụ thể nào không? Bạn sẽ nói chuyện với tất cả các sinh viên, hay một nhóm nào? >> Em sẽ nói chuyện với các bạn sinh viên, và chia nhỏ ra từng khoa, hoặc có thể là từng môn. Và có thể sẽ tìm hiểu những kỹ thuật học tập khác nhau nữa.

Vì có những người ghi chú rất nhiều, có người không nhiều, nhưng vẫn cần ghi chú. >> Vâng. Đó là bắt đầu tốt. đó rõ ràng là những nhóm người dùng mà bạn phải nói chuyện, đặc biệt là nếu bạn xác định rằng sinh viên đại học là khách hàng. Và nếu bạn xác định sinh viên là khách hàng, bạn sẽ nhận được rất nhiều phản hồi về thói quen ghi chú hiện tại của họ, và điều họ thích là gì.

Một vấn đề trong việc bán cho sinh viên là sinh viên thực sự không có nhiều tiền. Rất khó để dụ các bạn chi tiền, đặc biệt là đối với những chi phí liên quan tới trường lớp. Thậm chí bạn còn chẳng thèm mua sách giáo khoa. Chắc các bạn đều thanh toán ghi nợ, hoặc là mượn của bạn bè, kiểu vậy... Thế nên có một điều mà bạn chưa nghĩ đến khi bạn chọn sinh viên, chính là việc...

ai là người quan trọng nhất đối với ứng dụng này? Và nếu bạn thực sự làm một ứng dụng ghi chú cho trường đại học, những người thực sự có thể mua chính là bộ phận IT của các trường đại học. Ý tôi là, thông thường nếu bạn muốn bán phần mềm cho sinh viên, người mua sản phẩm đó thực sự phản là ban giám hiệu nhà trường.

Vậy đó sẽ là một cách tiếp cận mà bạn có thể nghĩ đến. Bạn có thể đi hỏi các sinh viên đại học, và sẽ thấy là họ chẳng mua bất kỳ ứng dụng ghi chú nào cả. Ý tôi là... Rất có thể là tôi phán đoán hoàn toàn sai lầm, và đây chính là lý do bạn phải nói chuyện với người dùng, nhưng bạn cũng phải thử với các nhóm khác, đúng không?

Tôi sẽ gặp các trường, tôi sẽ gặp các quản lý IT nữa. Tôi nghĩ đó là một hướng hứa hẹn hơn. Có lẽ nên gặp cả phụ huynh nữa, nhỉ? Đó là người trả tiền cho việc học của con em họ, và sẽ sẵn sàng mở ví. Là nhóm đối tượng phụ huynh, của những tân sinh viên mới đậu đại học chẳng hạn. "Cô chú nên mua ứng dụng này giúp con cái học tốt hơn, để không rớt khỏi đại học!"

Và tôi thấy rất nhiều nhóm tiềm năng, họ không cần phải là người dùng, nhưng lại là mấu chốt cho sự thành công của ứng dụng. Và khi bạn ở giai đoạn rất sớm của một start-up như thế này, bạn sẽ kiểu... bạn có một ý tưởng, và nghĩ rằng nó quá tuyệt. Bạn muốn nó tiếp cận càng rộng càng tốt. Bạn không muốn chỉ gặp một kiểu người để tìm hiểu.

Bạn muốn làm quen với tất cả. Bạn muốn làm quen với nhiều loại người có liên quan. Đúng chứ? Vậy... Mời một bạn lên đây và chúng ta sẽ giả vờ phỏng vấn sinh viên năm cuối. Vậy chúng ta sẽ phỏng vấn một sinh viên đại học, và tìm hiểu xem cần phải phát triển thứ gì. Kiểu như cần đưa tính năng gì vào ứng dụng ghi chú?

Vậy, xin mời một người tình nguyện khác để tiến hành phỏng vấn. Vâng! Được rồi, vậy... Xin chào! >> Chào, tôi là Stephanie. >> Chào Stephanie. >> Cảm ơn bạn đã đồng ý phỏng vấn với chúng tôi. Tôi rất muốn nghe bạn chia sẻ về thói quen ghi chú của bạn. Mỗi ngày bạn ghi chú như thế nào? >> Vâng, tôi ghi chú bằng nhiều cách. Tôi thích...

Vì yếu tố tốc độ và hiệu suất mà tôi sẽ nói sau, tôi thấy ghi chú bằng laptop sẽ dễ dàng hơn. Và phần lớn ghi chú chủ yếu là dạng chữ viết. Nhưng trong một số môn, ví dụ như trong lớp lịch sử, phần lớn là dạng chữ. Nhưng nếu trong lớp vật lý, sẽ có thêm rất nhiều biểu đồ phức tạp, và nhiều thứ tôi cần phải vẽ, nên sẽ hơi khó hơn một chút...

Hiện tại bạn đang dùng phần mềm gì? >> Tôi dùng giấy bút cho phần đó.. >> Giấy bút, tức là kết hợp. Bạn ghi chú bằng cả giấy bút và máy tính. >> Vâng. >> Và khi bạn ghi chú như vậy, với tất cả những ghi chú đó, bạn có xem lại không? Xin hãy thành thật. Có bao giờ bạn xem lại những ghi chú này không?

Phần giấy bút thì không nhiều. Nhưng phần máy tính thì có, vì nó dễ truy cập hơn, và cũng dễ chia sẻ và làm việc nhóm, và thậm chí là tổng hợp chung với ghi chú của bạn học nữa. >> Vậy hiện tại bạn dùng phần mềm nào để ghi chú trên máy tính? >> Google Docs và Evernote. >> Google Docs và Evernote? Và... Tại sao bạn dùng 2 phần mềm cùng một lúc?

À, Evernote dễ dùng, nếu tôi muốn ghi chú cho riêng tôi. Và dĩ nhiên có thể chia sẻ, nhưng tôi nghĩ Google Docs sẽ dễ chia sẻ hơn, cũng tùy thuộc vào... ví dụ một người bạn đã tạo sẵn folder trên Google Docs và tôi chỉ cần chép thêm vào đó trong một bài tập nhóm chẳng hạn, còn nếu chỉ dùng riêng thì tôi sẽ dùng Evernote.

Có vẻ bạn có rất nhiều việc cần ghi chú kết hợp? >> Vâng, tôi ước gì nó là một... >> Vậy... Hãy chia sẻ nhiều hơn về điều đó. Bạn có phải là người thực hiện hầu hết các ghi chú, là phần lớn trong số các ghi chú chung của nhóm? Hay chỉ thường ghi chú riêng của bạn để tự xem vào cuối kỳ? Hay thế nào?

Phần lớn là của tôi. Vì tôi khá khó tính trong việc sắp xếp mọi thứ. Như về thiết kế, định dạng, thậm chí màu sắc. Đặc biệt là font chữ trong đó. Và điều đó ảnh hưởng rất lớn đến cách tôi học. Nên tôi thường cá nhân hóa nó, cả trong bài tập nhóm. >> Vậy bạn lấy những ghi chú của bạn bè, rồi kết hợp nó thành một thứ...

Hữu ích đối với tôi. >> Vâng. Tuyệt vời. Và nếu... Nếu bạn vừa có ghi chú trên Evernote, vừa có trên Google Docs, và cả ghi chú bằng giấy bút. Khi hết học kỳ, bạn có bao giờ xem lại những thứ đó không? Hay cuối quý? Ở đây học theo quý, nhỉ? >> Vậy khi hết học kỳ, bạn có xem lại những thứ đó không? >> Với bài giảng thì không nhiều, nhưng với những bài nói chuyện chia sẻ chẳng hạn hoặc những bài phỏng vấn mà tôi thực hiện thì tôi thường xem lại, bởi vì đó là những thứ tôi muốn ghi nhớ, và để chuẩn bị cho những thứ trong tương lai.

Ồ, thú vị đấy. Tức là bạn không chỉ ghi chú trong lớp? >> Vâng. Tôi còn ghi chú để tóm tắt những điều quan trọng. Ví dụ như câu nói truyền cảm hứng. Hoặc những bài nói chuyện mà tôi tham dự. Có thể tôi tham gia một sự kiện và gặp gỡ một người nào đó, tôi ghi chú để suy nghĩ và gợi nhớ về những gì chúng tôi đã chia sẻ lúc đó vào những dịp tôi đi nghe chia sẻ, kiểu vậy.

Tuyệt vời. Rồi. Bình thường tôi sẽ đào rất sâu vào chi tiết. Vẫn còn rất nhiều câu hỏi mở trong đầu tôi sau khi nghe những điều đó. Những câu hỏi như bạn làm việc nhóm với ai, hay hỏi về khối lượng thông tin mà bạn ghi chú, hay là độ dài của những phần ghi chú đó,... Đại khái là đào sâu vào những hành vi hiện tại.

Nhưng vì giới hạn thời gian, và tránh để mọi người phải nghe mãi về thói quen ghi chú, chúng ta sẽ học tiếp. Xin cảm ơn bạn Stephanie rất nhiều. Vậy... Đó là những điều... bạn thấy là chúng ta không hề nói về nội dung của ứng dụng, kiểu như không đào sâu về các tính năng. Tôi không muốn biết mọi tính năng chi tiết của Google Docs và Evernote.

Tôi thích đào sâu hơn về những tính năng thực sự hữu dụng. Kiểu như cô ấy làm việc nhóm như thế nào? Tôi nghe thấy chi tiết "thư mục chung" thật sự rất thú vị. Nhưng điều cốt lõi khi bạn phỏng vấn người dùng ở giai đoạn này không phải là hỏi về trình tự thao tác, hay tối ưu hóa, hay hỏi về những thứ quá cụ thể kiểu như thế.

Điều đó có thể gây phân tâm, vì người dùng tưởng họ biết họ muốn gì, mà điều bạn muốn chính là "hiệu ứng xe không ngựa kéo", vì người ta thường chỉ muốn con ngựa nhanh hơn chứ không biết đến giải pháp thực sự cho vấn đề. Tương tự như vậy, tốt nhất là hãy tránh hỏi về tính năng, vì những điều mà họ nói sẽ có vẻ như rất thật.

Khi một người dùng thật yêu cầu bạn làm một tính năng, sẽ rất khó từ chối. Vì họ là người dùng thật, họ gặp vấn đề, và họ bảo bạn làm thêm tính năng này. Nhưng khi bạn nói chuyện với nhiều người khác, bạn sẽ nhận ra vấn đề thật sự của họ, bạn sẽ xác định được nó có tiềm năng hay không. Và dựa trên những gì tôi nghe, trong cuộc phỏng vấn đó, tôi không chưa thấy có vấn đề, hoặc ít nhất là một vấn đề đủ lớn, đáng để làm cả một sản phẩm mới cho nó.

Vì tôi không nghe thấy những điều kiểu như... một bế tắc thật lớn, hoặc một thứ gì đó thật sự sai lầm so với thực tế. trừ khi đã có sẵn ý tưởng lớn, còn không thì tôi coi như đó là tín hiệu không tốt. Nhưng điều đó không có nghĩa là bạn không thể tiếp tục phỏng vấn nhiều người hơn. Bạn không thấy vấn đề sau người đầu tiên, không có nghĩa là sẽ không có nhiều người khác thực sự gặp vấn đề.

Và bạn.. sau khi phỏng vấn 6-8 người, thường thì bạn sẽ dừng. Rất có thể bạn sẽ không khám phá được nhiều thông tin mới. Đó là lý do tại sao bạn nên nói chuyện với những người cực kỳ khác nhau. Hãy tìm những người có quan điểm khác nhau, bởi vì 6-7 sinh viên trường Stanford sẽ trả lời rất khác so với 6-7 học sinh trung học, hay 6-7 người phụ huynh.

Rồi, xin chờ tôi một chút... À, dựa vào những điều đó, tôi nghĩ... Tôi nghĩ bạn đã có thể nghĩ ra một đống ý tưởng, nhỉ? Bạn có thông tin về cách mọi người ghi chú, bạn đã nghĩ ra... rất có thể bạn đã có ý tưởng, có thể bạn đã nghĩ ra cách phát triển một sản phẩm tuyệt vời. Vậy, nếu bạn chỉ làm một tính năng vượt trội hơn Google Docs, tính năng đó sẽ là gì?

Và với một sản phẩm mới như vậy, có lẽ bạn nên bắt đầu nghĩ về việc sẽ bắt đầu từ đâu, tức là hiện tại họ đang sử dụng những sản phẩm đang có, làm sao bạn nâng trải nghiệm đó lên tốt hơn một chút thôi, kiểu như là khiến người dùng hào hứng với việc đi trước một bước. Vậy bây giờ hãy dành ra 2 phút để xem cần làm tính năng gì?

Hãy thực sự cố gắng suy nghĩ... bạn sẽ làm gì dựa trên những gì bạn nghe từ Stephanie để thuyết phục cô ấy chuyển đổi, từ tính năng hợp tác nhiều người cùng lúc như trên Google Docs sang sản phẩm mới, có mọi tính năng của Google Docs cộng thêm 1 thứ đặc biệt giúp bạn thành công. Thứ cộng thêm thật hữu dụng để họ từ bỏ sản phẩm mà họ đang dùng?

Rồi! Tuyệt vời! Và tôi xin mời một bạn thứ ba, nếu có ai nghĩ ra. Tôi không muốn đặt bạn vào thế bí nếu bạn chưa sẵn sàng.. Vâng? >> À, mic lên chưa? >> Rồi. >> Điều em nghĩ ra là.. lý do cô ấy dùng Evernote là kiểu giấy ghi chú, thiên về suy nghĩ và chi tiết. Em cảm thấy Google Docs là kiểu văn bản, chứ không phải kiểu ghi chú nhỏ.

Nên em nghĩ một tính năng kiểu trên di động, chứ không phải kiểu... không phải kiểu cồng kềnh quá như văn bản thật, vậy sẽ hữu ích hơn. >> Tuyệt vời. Nhận định rất sắc bén. Đó chính là điều mà bạn rút ra được sau khi phỏng vấn người dùng. Và... bạn có ý tưởng này. Bạn đã được một ý tưởng dựa trên ý kiến người dùng.

Sẽ thế nào nếu chúng ta có Google Docs với những tính năng làm việc nhóm như trước nhưng sẽ có thể viết thêm những mẩu ghi chú nhỏ? Và được thiết kế nhiều hơn cho mặt ghi chú? Bây giờ câu hỏi là: Bạn đã có ý tưởng rồi, có thể đó là một giải pháp hợp lý, nhưng đã đủ chưa? Đã đủ thuyết phục người dùng chuyển đổi để sử dụng chưa?

Và có 2 cách để xác định. Một, nếu bạn có thể lập trình nhanh, bạn có thể thật sự làm thử, rồi tung ra xem kết quả thế nào. Và cách đó rất tuyệt. Nếu hiệu quả, thì đây là một giải pháp tuyệt vời. Nhưng thông thường, một khác biệt nhỏ giúp nó vượt trội hơn một chút, bạn sẽ mất 3 tháng để thực sự làm được một thứ đáng để dùng.

Vậy nên bạn nên xem xét lại ý tưởng kỹ hơn trước khi thực sự bắt đầu phát triển nó. Vậy ban có thể lấy ý tưởng này, rồi tiếp tục ra đường. Bạn có thể phỏng vấn với sơ đồ, bạn có thể vẽ ra xem nó thế nào, vẽ ra các thao tác, và mang nó đi gặp mọi người. Nhưng có một điều bạn không nên làm là hỏi họ...

đây là một cái bẫy, và tôi muốn cảnh báo bạn phòng tránh, đừng có nghĩ ra ý tưởng về một tính năng rồi đi hỏi mọi người: Tôi có ý tưởng về tính năng tuyệt vời này, bạn nghĩ sao về nó? Bởi vì khi phỏng vấn người dùng, nếu bạn nói về tính năng và hỏi họ xem nó tốt hay không? Thường là: "Tuyệt đấy! Đó là một ý tưởng rất tuyệt."

nhưng khi bạn thực sự phát triển nó và đưa đến với mọi người, bạn sẽ thấy rằng họ chỉ nghĩ rằng ý tưởng đó rất hay, nhưng không muốn chuyển sang dùng nó. Nên, điều bạn không thể hỏi là tính năng đó có tốt hay không? Gì vậy Sam? >> Theo kinh nghiệm của cậu thì lượng thông tin tối thiểu cần hỏi... giữa việc phỏng vấn và phát triển sản phẩm đầy đủ?

Vâng. Sam hỏi là lượng thông tin tối thiểu cần thiết để đánh giá, vì bạn không thể hỏi họ tính năng đó tốt hay không? Điều này tùy thuộc vào câu trả lời, và cũng tùy vào tính năng đó. Nhưng thường thì điều tốt nhất bạn có thể làm là hãy cùng nhau làm điều gì đó. Nếu ý tưởng của bạn là phát triển sản phẩm trên nền Google Docs, đừng...

với bản v1, đừng xây cả một bản Google Docs dành cho việc ghi chú. Hãy tìm cách viết một phần mở rộng cho trình duyệt dành riêng một tính năng nhỏ xíu đó thôi, và đánh giá xem nó có hữu ích cho người dùng không. Hãy tìm cách "gian lận" khi phải xây sản phẩm, vì nếu bạn không thể thực sự đưa nó ra trước mặt người dùng, sẽ rất khó để đánh giá kết quả.

Với những thứ lớn hơn, khi bạn muốn người dùng trả tiền, mọi việc sẽ dễ dàng hơn. Tóm lại bán ra sản phẩm sẽ giải quyết tất cả mọi vấn đề. Nếu bạn có thể khiến mọi người trả tiền, tôi đảm bảo là họ sẽ sử dụng tính năng đó. Cách đánh giá tốt nhất đối với sản phẩm là thực sự bước ra ngoài và khiến người dùng trả tiền, trả tiền ngay từ đầu.

Nhưng khi phát triển ứng dụng ghi chú cho sinh viên, việc đó tương đối khó, bởi vì có thể bạn... trừ khi ý tưởng của bạn thực sự có thể bán được, còn không thì ít nhất cũng phải có một bản dùng thử miễn phí, bạn không nhất thiết khăng khăng bắt người dùng trả tiền. Nhưng nếu bạn có thể khiến người dùng nói: "Này, tôi sẽ trả tiền cho nó."

Trả tiền là cách kiểm tra tốt nhất, xem nó có hiệu quả không, họ có thực sự háo hức không? Vì nếu chỉ có 5 đô mà cũng không thể trả thì bạn cũng chẳng háo hức gì lắm. Vậy, điều cuối cùng tôi muốn nói với các bạn là về những gì đã diễn ra ở Twitch. Tôi có mang theo vài slide phản hồi mà tôi sẽ chiếu lên đây.

Đây là slide cho những điều đó... Nó đại diện cho những phản hồi ở Twitch. Tôi có cả một bản các phản hồi dài 26 trang luôn. Và tôi nhận ra là đọc hết thì sẽ rất chán, và cũng chẳng đủ thời gian cho bài giảng, nên... cứ coi như đây là những phản hồi đại diện tiêu biểu của... rất nhiều người gửi phản hồi như thế này, khi chúng tôi hỏi họ.

Và tôi đã rút gọn nó lại thành những phản hồi như trên này. Nên khi chúng tôi xây dựng Twitch trước khi tung ra, chúng tôi không lấy hệ thống Justin.TV có sẵn và hỏi họ... về trải nghiệm phát sóng của họ, họ thích điều gì khi phát sóng, tại sao họ phát sóng, họ phát nội dung gì, cuộc sống của họ thế nào,... Và điều thú vị là khi bạn nói chuyện với người dùng về các chi tiết trong sản phẩm của bạn, họ sẽ phản hồi rất chi tiết về các tính năng đó.

Vì họ đã gắn chặt với các tính năng đó, nên bạn phải đọc thật kỹ, nhưng... họ yêu cầu điều đầu tiên như: "Tôi muốn có cách xóa danh sách chặn." Đó là một yêu cầu thường thấy, vì đó là một vấn đề trong tính năng "chat room". Có người yêu cầu tính năng chỉnh sửa tiêu đề bài nổi bật sau khi khởi tạo. Và những điều này đều rất nhất quán.

Khi nói chuyện với người phát sóng, khoảng 12-14 người gì đấy, những người phát sóng của nền tảng phát game Justin.TV, và chúng tôi có phản hồi như thế, và còn gì nữa nào? Đối thủ của chúng tôi có tính năng khá ngầu như khảo sát, chạy chữ,... hay cá nhân hóa hệ thống chat, và... Chúng tôi có vài phản hồi tích cực. Như là "Ồ, không quảng cáo!

Quá tuyệt!" "Tôi muốn chặn mấy đứa troll." Vậy, có rất nhiều thứ liên quan tới việc tương tác với... liên quan tới việc tương tác với người xem. Và đó là điều hết sức thú vị. Và đây là thứ mà người phát sóng trên Justin.TV muốn chúng tôi phát triển. Và đây là những điều khó khăn khi họ sử dụng sản phẩm. Và... nếu bạn nghĩ rằng những điều đó đã nêu lên vấn đề, bạn sẽ sai lầm.

Vì thực ra, nếu họ đã sử dụng dịch vụ và sẵn sàng bỏ qua những vấn đề này, có nghĩa là đây không phải là những vấn đề lớn nhất. Vì nếu bạn không quan tâm tới việc không thể chỉnh sửa danh sách chặn hay tiêu đề, và không thể lọc troll trên kênh, nhưng bạn vẫn tiếp tục sử dụng, nghĩa là đó không phải vấn đề lớn.

Điều đó dẫn tới một điều tối quan trọng. Đó là bạn phải so sánh các nhóm đối tượng, và so sánh mức độ mà họ tranh luận với chúng tôi. Vui lòng chuyển slide kế tiếp. Tuyệt! Chúng tôi có cả phản hồi từ người dùng của đối thủ, thật thú vị. Và đây là những điều chúng tôi thường nghe từ người dùng các nền tảng khác. Họ muốn tính năng hỗ trợ nhiều người phát lên kênh cùng một lúc.

Họ phàn nàn về chính sách chia sẻ doanh thu, và nói nhiều về việc làm sao để họ kiếm tiền. Họ thực sự muốn kiếm tiền khi theo đuổi việc phát sóng chương trình chơi game. Và họ nói rất nhiều về tính ổn định. Cụ thể là dịch vụ của chúng tôi không tốt ở châu Âu, nhưng nhìn chung tính ổn định là vấn đề rất lớn đối với họ.

Và nếu bạn so sánh thì thực sự nó rất khác biệt. Những gì mà người không sử dụng nói rằng họ quan tâm, hoàn toàn khác với những thứ mà người đã sử dụng quan tâm. Và chúng tôi tập trung vào đây, vì đây là những thứ mà... nó quá tệ đến mức họ không chịu sử dụng dịch vụ của chúng tôi. Và hầu hết bọn họ đã thực sự nghĩ về việc đó, bởi vì người dùng của chúng tôi là người dùng rất tinh thông lĩnh vực này, họ biết mọi tùy chọn có sẵn, và họ sẽ thực sự...

bạn biết đấy... có lẽ họ đã thử hết các dịch vụ khác rồi mới có ý kiến. Thật tuyệt khi có người dùng hiểu biết như thế, họ đều hiểu lĩnh vực này rất rõ. Và... Tôi sẽ chuyển tới slide tiếp theo. À, được rồi. Một điều khác hết sức quan trọng nữa là nói chuyện với người dùng không-phát-sóng. Chúng tôi nói chuyện với tất cả những người không dùng dịch vụ của chúng tôi và của đối thủ.

Theo nhiều cách, đây là những người quan trọng nhất. Gom người từ đối thủ, là kiểu ăn ngắn hạn, khi tìm người dùng từ những phần mềm của đối thủ. Trừ khi bạn có một sản phẩm kiểu như Goole, là một bộ tìm kiếm mọi người đều dùng, tức là chẳng có người-chưa-dùng để mà tìm. Nhưng với phát sóng game, gần như mọi người đều là người-chưa-dùng.

Họ là phần đông. Điều này đúng với hầu hết các sản phẩm. Phần đông đại chúng là người-chưa-dùng. Họ là những người chưa dùng dịch vụ này bao giờ. Và điều họ nói mới là quan trọng nhất. Đó là thứ chặn đứng sự mở rộng của bạn, ngăn chặn bạn mở rộng thị trường với những tính năng đó, đúng chứ? Nếu bạn chỉ nhìn vào đối thủ và bản thân, và bạn chỉ nói chuyện với ngươi sử dụng dịch vụ của bạn hoặc của đối thủ, bạn sẽ không bao giờ mở rộng được.

Bạn sẽ không tìm được những thứ giúp bạn mở rộng thị trường. Bạn sẽ muốn nói chuyện với những người chưa thử những thứ này. Có thể họ đã nghĩ tới, nhưng chưa sử dụng. Vậy họ nói gì? "Máy tính của tôi không đủ nhanh." "Hiện tại tôi phải tập luyện 12 tiếng mỗi ngày cho giải đấu tới." "Tôi thích làm video hoàn hảo, muốn biên tập nó."

"Tôi đăng lên YouTube được rồi, không cần phải live stream. Tôi không có nhu cầu lắm trong mảng này." Hoặc thực sự đối với Hàn Quốc, đây là vấn đề lớn. Chiến lược của chúng tôi trước đây là phát sóng giải đấu lớn, nên giờ phải tính lại. Kiểu như phải nghĩ ra một chiến lược hoàn toàn mới. Nhưng bạn sẽ không bao giờ muốn phát sóng phần luyện tập.

Thật điên rồ! Vì bạn sẽ bị bắt bài trong giải đấu tới. Nên đây là một chương trình lớn của chúng tôi, để tìm cách mở rộng người dùng. Chúng tôi mua máy tính cho mọi người. Chúng tôi hợp tác với nhà phát sóng game, các công ty phần mềm để giúp phần mềm phát sóng được phát triển tốt hơn. Chúng tôi bắt đầu làm tính năng phát sóng cho game và các nền tảng, như tính năng phát sóng trên Xbox, và tính năng phát sóng trên Playstation 4.

Vì chúng tôi cần phải vượt qua vấn đề này, vì nó quá khó, trước đây là không thể. Vậy bạn phải kết hợp tất cả. Với chúng tôi là có 3 nhóm lớn liên quan tới phát sóng. Và bạn kết hợp tất cả phản hồi lại, và nó sẽ cho bạn biết cần làm tính năng gì. Vì những tính năng họ yêu cầu, như khảo sát, hay khả năng thêm tài khoản con...

tài khoản nhỏ trong tài của bạn,... Chúng tôi vẫn chưa phát triển. Nhưng điều quan trọng là có những vấn đề, những mục tiêu nhất định phải đạt được. Mọi người muốn kiếm tiền. Mọi người muốn ổn định và chất lượng. Mọi người muốn khán giả trên toàn thế giới có thể dễ dàng truy cập để theo dõi họ. Và đó là thứ chúng tôi tập trung.

Và chúng tôi đổ gần như mọi nguồn lực vào những thứ mà chẳng có ai đề cập trong các buổi phỏng vấn. Nhưng đây là những thứ giúp giải quyết vấn đề. Cách để biết nó có thành công hay không là chúng tôi làm tính năng rồi trở lại với những người đã phỏng vấn và nói: "Này, bạn nói là bạn muốn kiếm tiền, nên chúng tôi đã làm tính năng theo dõi có trả phí để giúp bạn kiếm được tiền."

Và... họ kinh ngạc vì hầu hết mọi người chưa từng có trải nghiệm đó. Họ chưa từng nói với ai đó rằng họ cần sản phẩm đó có tính năng X. Và hai tháng sau đó, hoặc một tháng sau đó, sản phẩm của bạn thật sự có tính năng X. Hoặc ít nhất là một tính năng giúp giải quyết vấn đề mà họ đã nêu. Vậy nên những người đầu tiên chuyển sang nền tảng của chúng tôi chính là những người mà chúng tôi đã phỏng vấn.

Họ là những người bị ấn tượng mạnh nhất. Điều đó thật thú vị. Nhưng nó đã hiệu quả, vì chúng tôi chọn những người tiêu biểu, gồm người phát sóng, kênh nhỏ, kênh vừa. Chúng tôi đảm bảo giải quyết lo lắng của họ. Và.. tức là hoàn toàn khác với cách tiếp cận vấn đề của chúng tôi ở Justin.TV. Vì ở Justin.TV, khi làm việc này, chúng tôi ngồi xuống, và lặn ngụp trong một núi dữ liệu, và tốn rất nhiều thời gian xem xét Google Analytics, xem xét các bảng biểu, các công cụ thống kê khác nữa, để tìm hiểu xem mọi người dùng nó như thế nào, truy cập đến từ đâu, tỷ lệ hoàn tất, vân vân..

Chúng tôi tốn rất nhiều thời gian cho việc đó. Điều đó cũng tốt, bạn sẽ học nhiều thứ từ đó. Tôi không bảo bạn đừng xem dữ liệu thống kê. Nhưng nó không cho bạn biết bạn sẽ đi đâu. Nó không nói bạn biết vấn đề bạn cần giải quyết là gì. Và chúng tôi đã nghĩ ra nhiều ý tưởng ở JustinTV. Nhưng cứ 9 lần trên 10, khi không nói với người dùng, cuối cùng ý tưởng đều thất bại.

Và có những điều rất phiền phức trong việc phỏng vấn người dùng và thu thập ý kiến, vậy nên nhiều người không chịu làm, đó là bạn sẽ bị phản ánh tiêu cực về sản phẩm yêu thích của bạn. Kiểu như bạn nghĩ đây là ý tưởng tuyệt vời rồi bạn đem nó khoe với người dùng, rồi hóa ra chẳng có ai thực sự muốn dùng. Kiểu như họ đều quan tâm tới những thứ hoàn toàn khác.

Và họ không quan tâm những thứ mà bạn nghĩ là quan trọng. Và... và điều đó thật đáng buồn, cứ tưởng tượng bạn sẽ buồn thế nào sau 4 tháng sau khi tung ra tính năng đó nhưng rốt cuộc chẳng ai sử dụng. Tôi nghĩ đó là phần bài giảng và những gì tôi muốn nói. Tôi muốn nghe vài câu hỏi từ phía khán giả. >> Thấy thấy các start-up thường sai lầm ở điều gì nhiều nhất?

Hầu hết start-up không phỏng vấn người dùng, nhưng khi làm thì thường làm sai ở đâu? >> Tôi nghĩ rằng sai lầm thường gặp nhất là đem sản phẩm ra hỏi. Đừng đưa sản phẩm ra cho họ xem, vì chẳng khác gì nói về một tính năng. Nếu bạn muốn biết họ nghĩ gì, thì đừng áp đặt một thứ khác vào đầu họ. Một sai lầm nữa là đi hỏi về định hướng tính năng thử nghiệm, kiểu như bạn nghĩ ra tính năng theo dõi trả phí, thế là bạn đi hỏi: "Bạn có sẵn sàng trả phí để theo dõi?"

hoặc đi hỏi: "Bạn có dùng tính năng này không?" Và một sai lầm lớn nữa là chỉ hỏi những người dễ hỏi, thay vì đi hỏi những người bạn cần phải hỏi. Có những người dùng rất dễ tiếp cận, bởi vì họ... là thành viên trong diễn đàn của bạn chẳng hạn. Bạn có diễn đàn sản phẩm và bạn nói chuyện với người dùng trên đó, vì họ rất dễ tiếp cận.

Chúng tôi mất hàng tuần để tìm hiểu thông tin xem họ là những ai, để chúng tôi liên lạc và nói chuyện với họ. Vì rất nhiều người không dễ tìm. Họ chỉ là người dùng bình thường. Và nếu dịch vụ không có tính năng nhắn tin, sẽ không có cách nào tương tác với họ. Nên chúng tôi đã dành nhiều thời gian để kết nối với những người này và mời họ tham gia.

Vì nếu bạn chỉ nói chuyện với người dễ gặp, bạn sẽ không có thông tin tốt nhất. May mắn là tất cả mọi người đều rất vui lòng khi được hỏi xin ý kiến. Và hầu hết đều sẵn sàng nói với bạn những điều họ nghĩ. Vâng? >> Thuyết phục mọi người trong công ty có khó không? Thầy có thể nói kiểu như: "Tôi nắm quyền, nên các anh phải nghe tôi."

Nhưng có lẽ đó không phải là cách tốt nhất. Vậy làm sao thầy thuyết phục họ? >> Đó là câu hỏi hay. Câu hỏi là làm sao để thuyết phục toàn bộ công ty làm một tính năng nào đó? Thuyết phục theo kiểu: "Tôi biết rồi, tôi đã nói chuyện với người dùng. Tôi biết chúng ta phải làm tính năng này." Không thuyết phục lắm. Bởi vì mọi người không tin bạn.

Sẽ hiệu quả hơn nếu bạn cho họ xem nội dung phỏng vấn. Nên tôi đề nghị bạn phải quay lại các buổi phỏng vấn. Đó là phép màu. (a) Nó giúp bạn không cần phải ghi chú, vì ghi chú tạo cảm giác khá khó chịu. Nó tạo cảm giác bạn không thực sự tham gia vào cuộc nói chuyện. Và (b), bạn có thể phát lại cho mọi người xem.

Nên mặc dù họ không cần có mặt trong mọi buổi phỏng vấn người dùng, nhưng khi bạn muốn chứng minh luận điểm về việc nên làm tính năng gì và tại sao, bạn chỉ cần phát lại buổi phỏng vấn đó cho toàn bộ công ty và đó là phép màu khiến mọi người thay đổi suy nghĩ và hiểu rằng cần phải làm tính năng gì. Vâng? >> Như thầy có nói về việc ghi lại buổi phỏng vấn, vậy thầy dùng Skype hay là email?

Thầy dùng hệ thống nào? >> Chắc chắn bạn muốn dùng Skype hoặc... Xin lỗi, câu hỏi là chúng tôi có nhất định dùng Skype để phỏng vấn không? Bạn sẽ không muốn phỏng vấn qua email và nên tránh, vì email không có tính tương tác. Và điều thú vị nhất trong những buổi phỏng vấn là kiểu "Ồ hay đó, nói rõ hơn đi." vì ngay cái khoảnh khắc đó, bạn hy vọng họ sẽ nói một điều ngoài mong đợi, và ngay khi họ nói một điều ngoài mong đợi hoặc bạn chưa biết, bạn nên bật chế độ thám tử, và chế độ đó là kiểu: "Ồ, hay quá.

Bạn có thể nói chi tiết hơn về điều đó không?" Không ai thích im lặng cả, họ sẽ nói để lấp khoảng trống. Và điều tuyệt vời nhất khi phỏng vấn qua Skype hoặc trực tiếp, là bạn có phản hồi ngay khi tương tác. Và bạn có thể lấy thêm rất nhiều thông tin từ người dùng. Email thì chỉ tạm được. Nhưng về cơ bản là vô dụng.

Nếu phỏng vấn trực tiếp hoặc qua Skype, bạn cũng dễ ghi lại hơn. Hãy xin phép họ để bạn quay lại, vì sẽ rất bất lịch sự nếu không xin phép. Nhưng nếu họ đã chấp nhận cho bạn phỏng vấn thì có lẽ họ cũng sẽ sẵn sàng để bạn quay lại. >> Còn về thị trường quốc tế thì sao ạ? Như thầy có đề cập là thầy đã phỏng vấn rất nhiều ở Hàn Quốc, và em không biets mọi người có dễ dàng nói bằng tiếng Anh, hay...?

Vâng, câu hỏi là đối với thị trường quốc tế, khi bạn phải cố gắng phỏng vấn những người không nói tiếng Anh. Đó là việc rất khó. Thực tế tới hôm nay, Twitch hoạt động tốt hơn hẳn ở các nước nói tiếng Anh so với các nước không nói tiếng Anh. Và tôi nghĩ một phần lớn lý do là chúng tôi dễ nói chuyện với mọi người hơn, và tìm hiểu xem họ cần gì.

Ở các nước khác thì không tốt lắm. Chúng tôi đã cố giải quyết bằng cách tuyển người nói tiếng Hàn, nhờ họ phiên dịch, hoặc giải quyết bằng cách tìm đại diện ở các nước này biết nói cả tiếng Anh và tiếng Hàn, và làm việc với họ. Nhưng vấn đề trong việc đó là... bạn không thể tìm được người đại diện tiêu biểu, bất kể cố gắng cỡ nào.

Vì ngay chuyện họ thông thạo tiếng Anh cho thấy họ không thể đại diện cho những người không giỏi tiếng Anh. Đó là vấn đề khó. Vậy nên các công ty sẽ dễ dàng mở rộng thị trường ở chính nước của họ hơn. Dễ hơn rất nhiều so với nước ngoài. Vì rất khó nói chuyện với người dùng nước ngoài. Vâng? >> Thầy tìm đến họ qua các kênh nào, và thầy có trả tiền cho họ không?

Chúng tôi dùng kênh nào để tìm đến họ, và có trả tiền cho họ không? Các kênh mà chúng tôi dùng để tìm đến họ là hệ thống tin nhắn trên trang. Hầu hết các website đều có cách để liên lạc với người dùng. Nếu nếu người dùng đó dùng trang web khác, bạn có thể dùng hệ thống tin nhắn và nói: "Này, tôi có xem anh phát sóng (hoặc bất kỳ thứ gì người đó đã làm).

Tôi rất muốn hỏi anh vài điều, anh có phiền nếu gọi Skype không? Và cách khác là tìm hiểu xem họ là ai và gửi email cho họ. Chúng tôi tham gia nhiều sự kiện, vì nhiều người đến các sự kiện và chúng tôi sẽ đến sự kiện để phỏng vấn ngay tại sự kiện đó, nhưng bạn phải làm quen với họ, bạn trao đổi danh thiếp, hoặc bất kỳ thứ gì khác không phải danh thiếp.

Và bạn có liên lạc của họ. Chúng tôi thường không trả tiền cho họ. Tôi nghĩ nếu một người không đủ quan tâm để nói chuyện với một người đang muốn giải quyết vấn đề, thì có lẽ bạn đã gặp sai người rồi. Chúng tôi chưa gặp bất kỳ vấn đề gì dù không trả tiền. >> Còn công cụ phản hồi trên trang thì sao? Thầy có lấy phản hồi từ đó không?

Vậy, có cả một bộ phản hồi thứ hai hết sức quan trọng mà tôi nên đề cập. Câu hỏi là: Công cụ phản hồi trên trang thì sao? Tôi nghĩ bạn đang nói về tình huống khi mà bạn đang có một sản phẩm mới, và bạn muốn biết nó có hiệu quả hay không. Bạn cho mọi người xem, và xem họ có dùng nó không. Điều đó rất quan trọng.

Đó là điều siêu quan trọng, và nó có thể cho bạn biết nhiều điều về những sai lầm trong khi phát triển, trước khi tung sản phẩm ra. Điều đó thật tuyệt. Nó không cho bạn biết bạn cần làm gì. Nhưng nó cho bạn biết những điều chưa tốt về thứ bạn đã làm. Nhưng nói chung thì chúng tôi... Đó không phải kiểu phản hồi chúng tôi tìm kiếm.

Ý là nó vẫn tốt. Cách đó tốt. Nó giống như phương pháp dựa trên dữ liệu. Bạn sẽ biết được tại sao mọi người thoát ra ở chỗ đó, nhưng sẽ không biết vấn đề thực sự cần giải quyết là gì, và họ thực sự quan tâm tới điều gì. Và kiểu phỏng vấn người dùng ở các giai đoạn đầu chính là điều then chốt mà các start-up cần làm.

Đó là điều bạn cần tập trung. Nên chúng tôi luôn phỏng vấn trên điện thoại hoặc Skype. Vâng? >> Mỗi nhóm người dùng sẽ có mỗi kiểu phản hồi khác nhau, vậy với nguồn lực hạn chế của start-up, chúng ta nên tập trung vào nhóm nào trước? >> Vâng. Với 3 nhóm người dùng khác nhau, chúng tôi có ưu tiên nhóm nào không, bởi vì nguồn lực lúc đó rất hạn chế?

Có! Chúng tôi tập trung vào nhóm người đang dùng sản phẩm của đối thủ. Vì chúng tôi biết rằng họ đã có hứng thú với hành vi mà chúng tôi cần, và họ sẽ sẵn sàng tham gia với chúng tôi. Vậy nên việc của chúng tôi chỉ là thuyết phục họ chuyển đổi, tức là dễ hơn nhiều so với việc tạo ra một hành vi mới chưa có sẵn.

Và chúng tôi phải làm thế để giành được vài chiến thắng thật nhanh, vì dự án game trong Justin.TV sẽ bị hủy bỏ nếu không thể hiện được 25% tăng trưởng mỗi tháng. Vậy, chúng tôi đã làm vậy, tập trung vào lấy người dùng ngắn hạn trước. Và hóa ra đó là việc tốt, bởi vì cuối cùng thì làm một thứ để một số người thích sẽ dễ phổ biến hơn, vì tôi muốn đem cả những người chưa sử dụng vào tham gia nữa.

Vâng? >> Twitch đã xuất hiện ngay từ đầu và đã thâm nhập vào ngành công nghiệp game. Thời gian đầu ngành này kiểu mô hình phân tán, kiểu không có nhiều liên kết, mỗi công ty game tự tổ chức các giải đấu riêng, kiểu vậy... Nhưng giờ đã rất khác. Thầy nói là thầy đã nói chuyện với người phát sóng, tức là người chơi game. Đã có những thay đổi gì ví dụ như Riot cấm người dùng hoặc đấu thủ chuyên nghiệp phát sóng game của họ?

Thầy có từng thử lợi dụng điều đó chưa? >> Vâng, câu hỏi cơ bản là về các nhà phát hành game, đúng không? Nhà phát hành game là một nhóm quan trọng trong lĩnh vực này. Các nhà phát hành game và các công ty đủ lớn sẽ không thèm quan tâm tới một start-up nhỏ. Vừa tốt vừa xấu. Nghĩa là bạn không cần phải nói chuyện với họ, họ không hứng thú với bạn.

Nhưng cũng có nghĩa là bạn không thể nói chuyện với họ. Chúng tôi đã cố thử, nhưng chẳng ai chịu gặp. Và họ chỉ đồng ý khi chúng tôi có được sự chú ý, và trở thành một tay chơi nho nhỏ trong ngành. Tôi không muốn nói xấu về họ, bởi vì họ... họ vẫn rất tử tế, vì khi bạn chỉ là một start-up nhỏ xíu trong muôn vàn start-up khác thì dĩ nhiên họ không có thời gian dành cho bạn.

Khi bạn lớn hơn, đến một thời điểm mà các nhà phát hành game trở thành những khách hàng lớn của chúng tôi. Và nếu nói về việc hiện tại Twitch đang phỏng vấn nhóm người nào, chúng tôi thu thập thông tin từ những ai, giờ dĩ nhiên sẽ có cả các nhà phát hành game, vì họ đang ngày càng năng động hơn trong ngành này. Khoảng 3-4 năm trước thì họ không năng động được như bây giờ.

Và đó cũng là một điều quan trọng trong việc phỏng vấn người dùng, tức là đối tượng mà bạn quan tâm có thể sẽ chuyển dịch theo thời gian. Những người quan trọng nhất khi bạn mới làm sản phẩm trong khoảng 6 tháng đầu tiên không phải là những người sử dụng nó 3 năm sau đó. Và điều quan trọng là bạn liên tục làm điều này.

Vì thường thì bạn rất dễ làm điều này khi mới bắt đầu, nhưng khi đã thành công thì bạn bắt đầu không cần nói chuyện với mọi người nữa. Và điều đó dễ khiến tính năng tiếp theo của bạn không còn tốt như lúc đầu nữa. >> Một câu hỏi nữa nhé? >> Vâng. Mời? >> Làm sao để đưa phản hồi tốt, trên tư cách người dùng?

Làm sao để đưa phản hồi tốt? Câu hỏi này rất hay. Vâng, tôi nghĩ rằng... tôi muốn người dùng nói với tôi... suy nghĩ thực sự của họ là gì? Và vấn đề thực sự của họ là gì? Và kiểu như chuyện phím, tôi muốn nghe về cuộc sống của họ. Vì bạn càng hiểu hơn về một người nào đó, bạn sẽ hiểu được bối cảnh mà họ đang sống, giúp bạn hiểu tại sao họ muốn điều họ muốn.

Và đó là thực sự là câu hỏi then chốt. Tôi muốn nói là điều tôi tìm kiếm ở một người khi tôi phỏng vấn người dùng là người đó sẵn sàng chia sẻ thật nhiều với tôi, và sẵn sàng cho tôi thấy một bức tranh đầy đủ. Và đó cũng là một mặt khác của vấn đề, nếu bạn muốn giúp người dùng đưa ra phản hồi tốt hơn, hãy chia sẻ với họ về đủ thứ chuyện.

Được rồi, tuyệt lắm. Cảm ơn các bạn rất nhiều!

Lecture 16 - How to Run a User Interview (Emmett Shear)

All right, good afternoon. Today's guest speaker is Emmett Shear, Emmett is the CEO of Twitch. Which was acquired by Amazon, where he now works. And Emmett is going to do a new formal of class today. And talk about how to do great user interviews? So this is the talking to users part of starting a startup, should be really useful. Thank you very much for coming. >> Contact server knows where I'm coming from, from this.

We started our.. I started my first startup with Justin Kan right out of college. We started this company called Kiko Calendar. It didn't go so well, it, it went, all right. We built it we sold it, but we sold it on Ebay so that's not necessarily the end you want for your startup, And it was it was a good time. We learned a lot, we learned a lot about programming.

We didn't know anything about calendars, neither of us were users of calendars. Nor did we during the period of time, we're thinking you've got to talk to anyone who actually did use a calendar. So that was, that was not optimal. We got the build stuff part of the, startup down, we did not get the talk to users part. The second startup we started we used, a very common trick, that lets you get away with not talking to users, which is that we were our own consumer.

We had this idea for a television show, Justin TV, a reality show about Justin Kan's life. And we built a whole set of technology and website around the reality show we wanted to run. And so we were the user for that for that product. And that's actually one way to cheat and get away with not talking to many other users is if you're just building something that literally is just for you.

You don't need to talk to anyone else because you know what is you want. And what you need. But that's if you're really limiting, where to start a startup. Most startups are not just built for the person who is who is using them. And when you do that, every now and then, you get really lucky. And you are representative of some huge class of people who all want the exact same thing you do.

But very often also that just turns into a side project that doesn't go any where. So, we kept working on Justin.TV for a while and we actually achieved a good deal of success, because it turned out that there were people out there who wanted to do the same thing we did. Which was broadcast ourselves live on the Internet. But, the issue with Justin.TV, the thing that, the thing that sort of, kept us from achieving greatness is we hadn't figured out yet.

How to how to build towards anything beyond that initial TV show. We knew how to, we built a great product actually. If you wanted to run a live 24/7 reality TV show about your life, we had the website for you. We had exactly, what you needed. But if we wanted to go do more than that, if we wanted to open it up to a broader number of people, a broader spectrum of people, a broader use cases.

We didn't have we didn't have the insight to figure that out because we weren't that user, and so at some point we decided to pivot JustinTV. We decided we needed to go in a new direction. We thought we'd built a lot of valuable technology but hadn't identified the use case that would let it get really big. And there were two directions that seemed promising. One of them was mobile.

And one of them is gaming. And I led the gaming initiative inside of the company. And what we did with gaming that was very very different, from what we'd ever done before. Was, we actually went and talked to users, because while I loved watching gaming video, I was very aware that neither I nor anyone else in the company knew about broadcasting video games. I was amped about the content, I thought there was a market there, that was sort of the insight that I had which wasn't common at the time, which was how much fun it was to watch video games.

Quick show of hands, people know about watching video game on the internet here? Okay, I'm just going to assume that people listening to this also know about it. If you don't know about, if you don't know about watching video games on the internet, you should go read about that. Because it's sort of, an important context for the stuff I'm going to talk about. But, the main point is I thought that was awesome but I didn't know anything about the side of it that was really important, which is actually acquiring the content to start broadcasting.

So we went out, and we ran a.... actually a very large number of user interviews. We talked to a lot of people and brought that data back, and that formed the core of all of the decision-making that was for the next three years of product features on Twitch was sort of some of the insights we got from that. And we continued to talk to users, and in fact built an entire...

part of the company whose job it is basically to talk to our users. Which is an, which is a whole division that we just didn't even have at JustinTV. We had no one at the company whose job it was to talk to our most important users. So so that was Twitch. And I'm, I want to give you guys a little bit of a a little bit of...

an insight into... with Twitch, what that meant, going to go talk to users. So, we determined that the broadcasters are the most important people. And the reason we determined that, was, when we went and looked into the market, we looked into what, what determined why people watched a certain streamer or went to a certain website. They would just follow the content, right? You had a piece of content you loved and the broadcaster would come with you.

And that's actually the one really important point about user interviews, which is that who you talk to is as important, as what questions you ask and you pull away from it. Because if you go and talk to a set of users, if we'd gone and talked to viewers only, we have a complete different set of feedback than talking to the broadcasters. And talking to the broadcasters gave us insight into how to build a link for them.

That turned out to be strategically correct. I wish I could tell you the recipe for figuring out who the target user is for your product and who your target user should be. But there isn't a recipe. It comes down to think really hard and, and use your judgement to figure out, who you're really building this for? So what I want to do is a little bit, something a little bit interactive now.

Which is... I've got a bunch of ideas from, from you guys actually. Sort of suggested ideas. And i'm going to pick one of them. And I want every one to sort of sit down and do step one of this process for me, right now. Which is think about who would you go ask about this? Like which people? Where would you go to find the people you needed to talk to about this?

In order to in order to learn about what you should build. And so the idea you're going to use is, let me see here... of these ideas, so here it's a lecture focused note taking app. The idea is I don't think that the state of the art for note taking is good enough yet. And I want to make a note taking app that improves. You know, improves that experience.

Makes taking notes in class better. Or taking notes by listening to a lecture online better. So you know, maybe it has collaboration features. Maybe it, like, helps you focus better somehow. It has multimedia enhancements. I don't know, right? All sorts of possible features. But that's the, that's the idea. So take 120 seconds right now, and think about what you would ask, or what the right features for this app is, but who would you talk to?

Who's going to give you that feedback that's going to tell you whether this is good or not? I actually mean it, right now. Take your laptop out, like type, write some stuff down. Think, think about, like, the.. it's good enough to, like, think of that in your head. But actually, like if you actually just write it down, and like just come up with the five people you talk to, the five types of people you talk to.

And who you think the most important one was. LIke, actually do it. Because there's nothing like actually running through a practice of something and trying to do it to actually get into your head, the right way to do it. I"m gratified to see here clicking in, of the keyboards now. If you're following along at home, pause, actually do it. Think about who you, who would you talk to?

Because that's a, that is the first question for almost any startup that you need to answer is like who is my user and, and where am I going to find them? Alright. That's like way shorter than you normally used to think about this problem. It's actually a really tricky problem in, like, figuring out where to source the people is pretty hard, but we're going to move along anyways in this highly abbreviated version of learning how to build a product and run a user interview.

So, can I get one volunteer from the audience to come up and tell us who you would talk to? And we'll talk about it. You guys are all pre-selected. Here you go. I don't know, how to turn this thing on, here we go. So who do you talk to? >> I would definitely talk to n college students first, obviously because we sit in a lot of lectures, and specifically I want to talk to college students studying different subjects to see if maybe, you know, if you're an English major, if that makes a different, versus you're studying...

Math or Computer Science in terms of how you want to take notes in lectures. >> And so you, you're going to talk to a bunch of college students Would you pick any particular subset of college students? Like we're going to talk to all college students or like a broad array. >> I went out and talked to college students, like, and break down the divisions by like people who study different areas maybe.

And then also maybe it would make sense for people who have like different study techniques. Because some people take a lot of notes. Some people don't take that many notes, but still jot stuff down. >> Right. So I mean that', that's a really good start. like that's, that is actually obviously a group of users you want to go talk to, especially if you're targeting something at, you know, at college students as the consumer.

And if you're talking to college students, as a consumer. the, you're going to get a lot out of students, about, what their current note taking habits are. And what they would be excited about. One of the problems with selling things to college students, is that college students don't actually spend very much money. it's, it's really hard to get you guys to open your wallets. Especially, if you want them to pay for a school-related thing.

And people don't even want to buy text books, right? You probably all use checks or debit or you know, borrow it from your friend or whatever. And so one of the like, one of the things that I think you'd be missing if you go after just the students, right, is you want to figure out who, who is the most important person to this, to this app. And if you're actually in a note-taking app, my guess is for colleges, the people most likely to actually buy a note-taking app that you guys would used, would be College IT.

I mean, presumably for the most part, if you want to sell software to students, like the people who have to get bought into that is usually the school administrator. So that would be one, that would be one approach, if you like thought that they will. You presumably go talk to the College students and you find out they don't actually buy any note-taking software right now at all.

I mean, likely. It's possible they do in which case I'm complete wrong and this is where you actually have to go talk to the users but you then have to try to maybe try other groups right? So I would talk to college, I would talk to IT administrators, as well. I think that's another area that's really promising. You might talk to parents. Right? Who spends money on their kids' Education and is like willing to pull their wallet out?

Like, the, you know, parents of kids. Parents of kids, who are freshmen who are going off to college for the first time. You need this app to make your kid productive so that they don't fail out of College. And as I see a lot of groups that are potential, that aren't necessarily the obvious user, but who are critical, critical to your app's success, potentially. And when you, when you're at the very beginning of a startup like this, when you're like, you have this idea that you think is awesome.

You want to have that broadest group you possibly can. You don't just want to talk to one type of person and learn that. You want to get familiar with the space. You want to get familiar with the various kinds of people who be contributing. All right. So... Lets have somebody come up and we're going to pretend we're going to the senior interview. So we're going to talk to a college student and try to find out what we should build.

You know, what we should get into this note-taking app. So, so, some, another volunteer please for, for running an interview. Yes. All right, so hello. >> Hi, I'm Stephanie. >> Hi, Stephanie. >> Nice to meet you. >> Welcome, thank you for agreeing to do this user interview with us. So I wanted to hear from you about you know, what are your note-taking habits. How do you take notes today?

Sure, so I take notes in a variety of ways. I like to... Now because of speed and efficiency and just to come back to it later, it's easier for me to just take notes on my lap top. And so a lot of those notes will be primarily, text based. But in certain classes, so for example, if I'm taking a History class, most of it will be in text.

But if I'm taking it, taking a Physics class for example they're going to be more complex diagrams, different angles that I have to draw and so that's little harder work, harder for me to- >> What software do you use for this stuff today? >> I just do pen and paper for that. >> Pen and paper, a combination. You take notes with pen and paper, you take notes With your computer sometimes.

Yeah. >> And when you take notes with when you take all these notes, again it's like, do you actually review them? Like, be honest, do you actually go back and actually ever look at these notes? >> The pen and paper not so much. But yes to the software-based, because it's more easy to access and it's easier for me to, to share and collaborate and maybe even merge notes with classmates and friends.

So what do what do you use to take notes today on your computer? >> Google Docs and Evernote. >> Google Docs and Evernote? And tell me more about like why two things at the same time. >> So Evernote is easy, if I'm trying to just collect it for myself, I think. And yes you can share, but I think Google Docs for me is easier to share and that depends also if...

a friend has already created a folder, for example, on Google Docs and I just have to add to that folder if it's a group project for example, versus if it's for my personal use I tend to go more toward Evernote. >> So it sounds like you do a lot of note-taking collaboration. >> Yeah. I wish it was integrated. >> What... Tell me more about that. Like, like, do you take as, do you want up taking most of the notes, most of the value of the notes out of notes other people take?

Or is it mostly your own notes you review at the end of a semester? How does that work? >> It's mostly, mine because I'm pretty picky about the way I like things organized. Like, design wise, or formatting. Even color, I'm really particular with. And, like, the font that we use. And that really affects the way I study. So, I tend to like, to like, to like to personalize it, even after I merge.

So, you, you pull in notes from other people. But then you merge them into, into the main... >> What works for me. >> Right. Awesome. And if you, if you have Evernote notes and you have Google Docs notes and you have pen and paper notes. Once the semester's over do you ever go back to any of that stuff or is it like the quarter, you guys have quarters here, right?

Once the quarter's over do you ever go back to any of that stuff? Do you ever? >> For classes not so much but if it's notes I've taken for like talks like these, for example, or if it's like interview prep that I'm doing. I tend to go back because of things that I like to kind of keep fresh in my mind. And to help me prep for, for future things.

So that's interesting. Tell more about that. Like you take notes not just in class? >> Yeah, so I take notes to, also to summarize main points. So if it's like inspirational quotes. For example talks that I go to like these. And then like, maybe I'm going to an event where I'm actually going to meet someone and it, it helps to actually to think about and to remember and recall what we shared at the time that, you know, I attended the talk or something.

Awesome. All right. Normally I'd actually dig into a lot more detail. There's a huge amount of like, open questions that are still in my mind after hearing that stuff. Questions about, which people do you collaborate with. Questions about whether or not you like, like what the volume of notes are. And like how, how long of, of note-taking stuff. Just sort of, digging in to like what the current behavior is.

But like in interest of time and not like keeping everyone here hearing about the intricacies of one person's note-taking habits forever. We're going to move on. But thank you very much Stephanie that was, appreciate that. So... So that kind of stuff, you notice we're not talking about the actual content of the app at all. Like, I'm not really interested in features. I don't really want to know about what they, the specific feature set in Google Docs and Evernote.

I might start digging in a little bit more into which features actually get used. Like if she's actively collaborating. You know is, how does that work? I heard some interesting things about oh, we, we use folders. That's interesting to me. But the main thing you're trying to do when you're running these first set of interviews is not necessarily get, like, questions about like user flows and like optimizing that, or questions about like the specifics of any of that stuff.

kind of can be distracting because users think they know what they want. But like you, you get the you get the horseless carriage effect, where you're... you're getting asked for a faster horse instead of trying to design the actual real solution to the problem. If you start asking people about features, so you want to stay as far away from features as possible because the the things they tell you, wind up feeling, almost overwhelmingly real.

When you have a real user asking you for a feature, it's almost, it's very hard to say no to them. Because here's a real person who really has this problem, and they're saying build me this feature. But as you start to talk to lots of people and really get a sense for what their problems are, you figure out if this is actually a promising area or not.

And like, based on what I heard there, it's like. Starting from that interview, I'm not necessarily positive there is a problem, or there's at least there's a, there's a big enough problem that it's worth building a whole new product for. Because I didn't hear a lot of like things were... There was a big blocker, or there was something really wrong with the way it was working. Unless I had some big idea I would take that as, you know, maybe a negative sign.

But it doesn't necessarily mean that you can't, you can't move forward and keep talking to more people. Just because you talk to the first person and you don't get anything out of it, doesn't mean there's not going to be a ton more people, who actually have a problem. And you, once you talk to about six, seven, eight people you're usually about done. It's unlikely you're going to discover a bunch of new information there.

Which is why it's important to talk to different extremes of people right. Go find people who are different different points because this is just six or seven Stanford college students, you're going to get a very different response when we talk to six or seven high school students, or six or seven parents. All right, one second, let me look at the... Based on that though, right, I think the...

I think it's possible you could come up with, a set of ideas, right? You have this information about how someone takes notes, you've, you've come up with, potentially when you came up with this idea you had, you had some ideas as to, you heard this idea, you had some ideas as to like how you could build something cool. And so, if you're going to build just one feature on top of Google Docs.

What would that feature be, right? And that's for, for, for a new product like this, it might be a good way to like get started thinking about where to go. Which is, okay, they're extensively using this things, right now. How can we make that experience just one quantum better? Something that would be... Really exciting to this person to be one one step ahead. And so let me take two minutes, right now.

And think about, what that feature might be? Actually like try to, try to come up with... what you might do based on what you heard from Stephanie, that could convince her to switch away from her current collaborative, multi-person, all-working-together workflow on Google Docs? To your new thing that has all the features of Google Docs plus this one special thing that's, like, going to make it,. It's going to make it more useful, and convincing they stop using that they are using.

Awesome, all right. So, I'm going to invite our, our third guest, if you have something up. I don't want to put you on the spot if you feel like you're not sure, but... Yeah? >> So what I... Is it on? >> Yes. >> What I thought about was like, the reason she uses Everknow is like, sticky note type notes like, more thoughts and details. So, I feel like, Google Docs has like documents and not like, smaller notes.

So, I feel like a feature that will be like, on mobile version, draw doesn't like, isn't that clunky and like, doesn't make you make real documents could be like, really useful. >> Awesome. So right. That's a good insight. That's exactly what's one of the thing that you get out of that user interview. And then, you've got this idea. Right, you've gotten this, I guess, user-fed feedback. You've got this idea.

What if we've had a Google Docs that had the collaborative aspects and the group aspects of that, but where you you could pull in more little one off notes. And, it was designed more around note taking. And so, the question is, now, once you have this idea, which I think, it's actually probably a reasonable approach. Is this enough? Is this something people would actually switch just to have?

And, the way to validate, there's two ways to validate that. One is if you're quick at programming. You can literally just go build it, and throw it out in the world and see what happens. And, that's great. And, if that works, that's an excellent way to approach it. But, a lot of the time that one little thing that's just a little bit better might take you three months to actually build something worthy of actually using.

And so, you actually want to go out and validate that idea further before you go ahead and start building it. And so, you might take that idea, and you might go back go back out. And you know, you can sit down with diagrams. You you can draw what the what it looks like. Draw the work flow, and go bring that in front of people, but the one thing you really don't want to do is ask them...

this is sort of a trap, and I just want to warn you against doing it, just don't go out and say, to come up with a feature idea, and go out and ask people: I've got this great idea for a feature. Are you excited about it? Because, the feedback you get from users, if you tell them about a feature, and ask them is this feature good? It's often, oh yeah, that's great.

Like, that sounds like such a good idea. but, when you actually take that in front of people, and you actually build it. You then, find out that while they thought it was such a clever idea, no one actually cares to switch to get it. And so, the one question you can't ask is this feature actually good or not? Yes, Sam? >> What is the minimum that you could do in your experience to actually if asking, you know, between asking and actually building that whole thing.

Yeah. So, Sam's asking if what's the minimum you can actually get away with to validate, given that you can't actually just go and ask them is this good or not? And, it's highly dependent the answer to that is highly dependent on the particular feature. But, usually the best thing you can do is really just hack something together, right? If your idea is to build something on top of Google Docs, don't, for your V1, go rebuild, an awesome Google Documents, but for note taking application.

Find a way to write a browser extension that stuffs just that little bit of incremental feature in, and, and see if it's actually useful for people. Go find a way to cheat is what it comes down to, because if you can't actually put it in front of people it's really hard to to find that out. For bigger things, where you're actually trying to, get people to spend money, it actually gets a lot easier.

So, if you're selling it it's great actually sales is this cure all for this problem. Get people to put, give you their credit card and I guarantee you they're actually using the feature. One of the most validating thing you can do for a product, is go out there and actually get them to commit, to pay you up fron. And, the problem is when you're working on a student note taking app, that's going to be relatively hard because you probably...

unless your idea is that you're actually going to sell it. It's probably something where you're thinking at least if the trial version's free, and you're not necessarily going to learn that much by trying to charge people money. But, if you go out there and if you can get people to say hey, I'm going to give you money? The money test is amazing, it really does clarify whether or not, they're really excited, because if you're not five-dollars-excited about it, you're probably not very excited about it.

So, the last thing I wanted to do was actually work through with you guys, what happened at Twitch. So I brought some slides of feedback that I would like to get put up. It's my, my only slides for the... for the thing and it's... It's representative excerpts of Twitch feedback. I had a whole like, 26 page document full of all the feedback. And I realized that reading that was going to be a little bit tedious and there was no way I'd make it through it in a lecture.

So, pretend that like this is stuff is all representative of... like, lots of people sent this kind of thing out to, to ask for me ask them questions. And, I've already pre condensed it for you into the real feedback you got. So, when we were working on Twitch to go launch it, we we wouldn't talk too much about existing Justin.tv Broadcasters and asked them... about their experience broadcasting, what they liked about broadcasting, why they broadcasted, what they broadcasted, what else was going on in their life.

And, the interesting thing is when you talk to users of your product, your detailed users of your product, they come back to you with actually very detail things about features. Because they actually get mired in the feature and you have to sort of read between the lines. But, they asked for first things like I want to be able to, way to clear the banlist in my chat room.

Like, that was actually a very common request because there was a particular issue with how our chat rooms worked. People had asked for the ability to edit the titles of highlights after creating them. And, and this was like, this stuff was really consistent. As we talked to broadcasters, you probably talked to 12-14, something like that, broadcasters from the Justin.tv gaming platform. We got all this feedback and, you know, what else do we have?

We have your competitors have all these cool features like polls and scrolling text, I can personalize chat there and... we have some positive feedback. They're like, oh, you guys don't have ads, that's great. I need to be able to ban trolls. So, a bunch of stuff around chat. A bunch of stuff around interactivity with... with interactivity with the with their viewers. And, that was all really interesting.

So, this was what the, this is what the Justin TV broadcasters wanted us to build. And, this is where they felt pain using the, using the product. And so, if you thought that what we did was going to address these problems, you would be wrong. Because, actually, people who are using your service already and are willing to put up with all these issues, kind of means that these are probably not actually the biggest problems.

Because if you're willing to ignore the fact that you can't edit the ban list, titles are uneditable, and there's no way to get trolls out of your channel. And, you're using the service anyways, maybe those aren't huge problems. And so, that sort of brings up another really important point. Which is, you have to compare you have to compare groups of people, and compare the level at which they they argued with us.

So, if you go to the next slide yes. Nice. We got competitor broadcaster feedback, which is really interesting. So, this is stuff that you've, we heard a lot from people who are using other broadcast platforms. They wanted to be able to switch multiple people onto their channel at the same time. They complained about us not having a rev share program or they talked a lot about how they're trying to make a living.

They really wanted to make money pursuing this gaming broadcasting thing. And, they talked a lot about video stability. Our service wasn't good in Europe specifically, but just globally, video stability is this huge, huge issue for them. And if you compare and contrast actually, it was really different. Like, the things that people who didn't use our service said about what they cared about, was completely different from the things that people who were using the service cared about.

And we focused on this stuff because this was the stuff where... it was so bad that they weren't even willing to use our service because of it. And most of them actually had thought about this because our user base happened to be a very well educated user base in the area, who knew about all their options for this. And, they would, they actually, you know, reaching out to them meant they could, they probably already tried all four services and actually had an opinion.

It's great when you can users who are that, that informed and that they have understand the space that well. And and if you go to the. I'm just going to go to the next slide. Yeah. Here we go. The other big thing we did that I thought was really important was we talked to non-broadcasters. So, we went up there and we talked to all the people who weren't using us or competitors.

And in many ways, those are the most important people, right? Talking to your competitors, that's your short term win, right? Someones using a competing, piece of competing software unless your piece of competing software is something like Google, which is a search engine, which everyone uses, then there are no non-users to convert. But, in the case of gaming broadcasting, almost everyone's a non-user, right? The majority, this is true for most new products.

The majority of people you're competing with are non-users. They are people who have never used your service before. And, what they say is actually the most important. What they say is the thing that blocks you from expanding from expanding the size of the market with your features, right? If all you do is look at your competitors and yourself, and all you do is talk to your people who use your competitors products, people who use your products, you can never expand, well, not never.

but, you're not learning the things that help you expand the size of the market. You want to talk to people who aren't even trying to use one of these things, yet. Who have thought about it, maybe. But, who aren't into it, so what did they say? My computer isn't fast enough. I'm focused on training 12 hours a day for the next tournament. I like making the perfect video, and like, editing it.

And so, I just upload things to YouTube. I don't do live streaming. I have no desire to, to go into that space. Or this is actually, particularly in Korea, this is a big problem. Once our strategy gets broadcast in a major tournament, we have to start over. We have to like, come up with an entirely new strategy. And so, the last thing we ever'd want to do would be broadcast our practice sessions, are you crazy?

That's going to hurt us in the next big tournament. And so this became a big outreach program for us, trying to figure out how we can get people over this. We bought people computers. We worked really closely with gaming broadcast, software companies to help who made the broadcasting software to make that better. We started building broadcasting into games and into platforms, like we built broadcasting into the Xbox, we built broadcasting into the Playstation 4.

Because we wanted, needed to overcome this issue that, like, it was too hard, broadcasting wasn't, wasn't possible. And so you sort of combine these, for us, these are three, three big groups we looked at for broadcasting. And you combine that feedback and what it tells you is not the features to build. Because the features they asked for things like polls things like a you know, the ability to have child account.

Like, child accounts in your account. We haven't built most of that stuff. But what was important were the issues, like the goals they were trying to accomplish there. People wanted money. People wanted stability and quality. People wanted universal access for viewers all around the world to be able to watch them. And so that became our focus, actually. And we dumped almost all of our resources into things that none, no one ever mentioned in an interview.

But, those are the things that actually address the problem. And the way you could tell that it worked is we'd build these things, and we'd go back to this exact same people we interviewed and say hey, you told us you really cared a lot about making money. Well, we built you this subscription program, that will let you make money. And... it's astonishing because most people've never had that experience, actually.

They've never talked to someone and said it would be really great if your product had feature X. And then, like, two months later or a month later, your product actually has feature X. Or at the very least, a feature that addresses the problem they brought up. And so, it was actually, the people we converted first to our product are the people that we talk to about user research.

They are the ones who were actually the most impressed, which is kind of fun. But it really worked, because we picked people who are representative. We picked big broadcasters, small ones, medium ones. And we, we made sure we were addressing their concerns. And that, that was completely different from how we'd approach the problem on JustinTV. Because in JustinTV, when we'd try to do this, we'd sat down.

We trolled through huge amounts of data. Like we spent tons of time looking at Google Analytics. Looking at mixed panel. Looking at in-house analytics tools. Figuring out how people use the service. Looking at where our traffic came from. Completion rates on flows. We spent all this time doing that. And that's good, you can learn things from that. I'm not telling you not to look at your at your data.

But it doesn't tell you where you need to go. It doesn't tell you where, what the problems are you need to address. And so we would just sort of invent these ideas in JustinTV. And then, nine times out of ten, without talking to someone, the idea turns out to be bad. And that's just one of those disappointing things about doing user interviews and user feedback. It's why so many people don't do it, which is, you're going to get negative news about your, your favorite pet feature most of the time.

Like, you're going to have this great idea, and you're going to talk to the user, and it's going to turn out that nobody actually wants that. Like no one's actually, they're actually completely concerned about completely different things and they don't care about what you thought was important at all. And that's a little bit sad but just, just think about how sad you'd be in four months when you launched that feature and it turns out no one actually wants to use it.

So think that's about it for my the lecture section of what we're we're talking about. I want to take some questions from the audience. >> What you see startups get most wrong about? I mean, most startups don't do them at all, but the ones that do what are the most common mistakes? >> I'd say, the most common mistakes are showing people your product. Don't show them you're product.

It's sort of like telling them about a feature. You want to learn about what's already in their heads, you want to avoid putting things there. The other thing is, asking about your pet feature direction, so if you think you want to add subscriptions to your product, going and asking people would you pay for a subscription. Going and asking them, would you use this feature. And I'd say the the other big mistake people make is talking to who's available rather than talking to who they need to talk to.

There's certain users that are really easy to get at, because they are say, members of your forum already. You have some product forum, and you talk to the users on that forum because they're easier to get access to. We spent like weeks digging for identity information, and figuring who these people were. So we could contact them, so we could talk to them. Because a lot of these people weren't, it wasn't obvious.

They were just some user on a site. And if that site didn't support messaging, there was no obvious way to interact with them. And so we spent a bunch of time trying to network, and find those users, and bring them on. Because if you, if you just talk to who's easy to talk to, you're not really getting the best data. The fortunate side there is that almost everyone is flattered to be asked what they think.

And so most of them will actually talk to you and tell you things. Yeah? >> How hard is it to get buy in from the rest of your company? I mean, like, you can go and be like, whatever, I'm in charge, so you're doing what I say. But it's probably not the best way of doing it. So how did you get them to? >> That's a good question.

So the question is how hard is it to get buy in from the rest of the company and how do you do it? Getting buy in if you just go to them and say, I figured out, I talked to the user, I figured it out we have to build this. Is really hard. Because people don't trust you. There's something magic about showing them in the interview though.

So I really recommend you record interviews. Recording interviews is like magic. A, it stops you from taking notes in the middle. And taking notes is a little bit disruptive. It makes it harder for you to feel like you're actually engaged in the conversation. And B, you can then play that recording for people. So when, when they don't have to be there for the entirety of all of the interviews.

But when you want to make a point about what we should be building and why. You just playback for the rest of the company that interview and it's it's like magic the influence it has on people's thoughts and what's what the right thing to build is. Yes. >> Since you mentioned recording did you try to insist on doing Skype interviews rather than over email, what was your impression of?

So you definitely want to do Skype or.... Sorry the question was, do we insist on Skype interviews for recording. You don't want to do interviews over email if you can avoid it because interviews over email are non interactive. And the most interesting things you learn in interviews come from the "Interesting, tell me more." because the instant that you hit, you hope this vein of they'll say something you didn't expect, and the instant they say something you didn't expect or didn't already know, you should drop into detective mode, and detective mode is huh, that's interesting.

Can you tell me more about that? And people don't like silence, so they'll keep talking to fill the void. And the best part about doing it over Skype or doing it in person is you have that interactive feedback. And you can actually pull a lot more out of people. E-mail interviews are, they're okay. But they're basically useless. If you're in person or over Skype, they're actually also easy to record.

Make sure you ask them if it's okay to record it. It's not polite to record people without their consent. But if they're willing to like give you like a user interview, they're probably willing for you to record it as well. >> Sorry, but what about the international market? Like you mentioned if that you had a lot of interviews in Korea, and I don't know maybe feel comfortable with English, or...?

Yeah, so the question is like what about people in the international market where you're trying to do interviews with people who don't speak your language. That's just really hard. And actually to this day Twitch works way better in English speaking countries than it does in non English speaking countries. And I think a big part of that is, we are much better at talking to people in English speaking countries, and learning what their needs are.

And we're not as good at it, in other countries. We've tried to address that by hiring people who speak Korean. Having them translate. We've tried to address that by, finding representative people in those countries who speak both English and Korean, and reaching out to them. But the problem with that, is, like... you're not actually getting a representative sample. No matter how hard you try. The very fact that they are a fluent English speaker means they're not representative of all the people who don't speak fluent English.

It's just a hard problem. It's why companies find it easier to build markets that went in their home country. Much more easily than abroad. Because it's really hard to talk to users abroad. Yes. >> What channels did you use to reach out to them, and do you ever compensate them? >> So what channels did we use to reach out to them and what did we ever compensate them?

The channels we used to reach out to them, were, on site messaging systems. So like, most site websites have some way to contact the user, so if they're a visible user of another website you use that sites messaging system and say hey, I was watching your stream, or whatever this person was doing on the site. I'd love to ask you some questions about your use would you mind hopping on a Skype call?

And as for, the other thing we do is we find out who people were and we send them emails. We'd rented some at events, because a lot of these people go to the same events and we would go to the events and we wouldn't run the user interview at the event, but you get to know them, you exchange business cards or, whatever it is you actually do now aren't, isn't business cards.

And, you get in touch with them. We tended not to compensate people. I think that if people don't care enough about the problem to talk to someone who's trying to solve it, you're probably barking up the wrong tree. We never had any trouble getting people to talk to us about paying them. >> What about on site user feedback tools? Do you get a little feedback from that?

So, there's this whole second set of user feedback that's really important, that I should talk about. The question was, what about, like, on site user feedback tools? And I think this stuff you're talking about is where you have like a, a new product and you want to see how, if it's actually going to work or not. And so you put it in front of people and you see how they use it or not.

That's really important. That kind of work is super important and it can tell you lots of things about where you went wrong building something before you launch it, which is great. It doesn't tell you what to build. It it helps you iron out the kinks and edges of the thing you did build. But generally speaking we... that wasn't kind of the user feedback we were getting, I mean that's stuffs good.

It's good, it's much more similar to the data driven approach. You're finding out, why are people dropping off in this flow, you're not finding out what problems should I really be solving for them, and what do they care about as a human. And, for this kind of like really early stages interview which the kind of user interview that's crucial startups do, that's where you want to focus.

So we didn't bring on site actually it almost all over phone or Skype. Yes. >> So for the three different groups of people there are different kinds of feedback so as a startup time and resources, is that a good area to focus on first? >> Yeah. So with the three different kinds of people did we focused on one of them, given that we had very limited resources, yes.

We focused on the competing people using competing products. Because, we knew that they already were interested in the behavior that we needed, and they were willing to do it at all. And therefore all we had to do is convince them to switch, which is a much easier thing to do than to try to create new behavior where none existed before. And we had to do that because we had to get some quick wins, because my gaming project inside of Justin.tv would have been killed, if it wasn't showing 25% month over month growth every single month.

So, we did, and that meant focusing on short term get the people in right now. And that turned out to be good in general because it turns out that building something that some people want generally generalizes and so I want to bring in people who weren't even users of the service as well. Yes. >> Twitch has been around from the beginning so it filled up, for example the video game industry.

In the beginning this industry was very like, decentralized, like there wasn't a lot of cohesion with like, different video game companies consolidating where tournaments are and stuff. But now it's very different. So you said originally you spoke to like broadcasters and you know streamers themselves, how does that change when like, for example like Riot has banned users or professional players from streaming their own stuff. Have you tried to you know, gain leverage with that or?

Yeah, so the question is what about the game publishers basically, right? The game publishers is huge important people in this space. The game publisher is and any big company for that matter isn't going to give you the time of day as a small start up, which is both good and bad. It means you don't really need to talk to them because, they're not interested in you.

But it means you actually just can't talk to them, I mean we tried but no one wanted to talk to us. And they did once we started getting some traction, and becoming a little bit, slightly bit of a player in the space. I don't want to like, talk that bad about of them because they, they were nice about it enough about it it's just that when you're a tiny little start up, there's lots of tiny start ups and they don't have the time to talk to all of you.

As we've gotten bigger actually the point that, game publishers have become an increasingly important constituency for us. And if I was to talk about who Twitch does user interviews with now, who we pulled information from now, it would include game publishers definitely because they've become much more active in the space. It was something that they weren't particularly active three or four years ago as much as they are now.

And that's another really important point about user interviews in general. Which is that the pool of people you care about is going to shift over time. The people who get you started, like the crucial people to get your product started for the first six months, are not who will be using it three years later. And it's very important you keep, doing this stuff. Because one thing that's really easy to do, is to do a little bit of it in the beginning.

And achieve some level of success, and then you sort of, stop talking to new people. And that's a good way to make the, the next set of features you build be not as good as the first ones. >> How about one more question? >> Yeah. Yes? >> How do you give good user feedback, if you're a user? >> So, how do you give good user feedback, it's a really good question.

So I think what I, what I want a user to do is I want a user to tell me about... what they're really thinking, right? And what they're problems really are. And to just sort of ramble. Like I want someone to just tell, tell me about stuff in their life. Because the more you learn about them as a person. And sort of what's going on in the context of what they're doing is easier to understand why they want the things they want.

And that's really the critical question. So I'd say like, you know, what I'm looking for in someone, when I'm doing a user interview, it's someone who is going to be willing to talk a lot and be willing to, to really give me a full, give me a full picture. So that's what I guess on the flip side, if you want to be a good, if you want to help people out with good user interview feedback ramble, just talk about stuff and everything.

All right, great. Well, thank you very much.