Phạm Hy Hiếu: Chuyên gia huấn luyện mạng neuron ở Google

Phạm Hy Hiếu hiện đang là nghiên cứu sinh tiến sĩ với đề tài nghiên cứu “Nâng cao hiệu suất của mạng neuron”

Cảm xúc của Hiếu như thế nào khi lần đầu có tên trong Top 30 của Forbes? 

Tôi cảm thấy bất ngờ hơn tất cả những lần được vinh danh trước đây. Ví dụ, trước đây tôi có tham gia nhiều cuộc thi toán và tin học. Trong quá trình làm bài thi, tôi tự biết mình làm tốt hay không, và qua đó gần như biết trước được kết quả. Tuy nhiên, với Forbes 30, tôi hoàn toàn không có chút thông tin gì, cho đến khi nhận được email thông báo từ họ.

Khi bất ngờ ban đầu qua đi, tôi  cũng vui và tự hào. Đây là một danh sách mà vài người đi trước mình đã được vinh danh, như Phạm Kim Hùng (huy chương Olympiad toán quốc tế 2004, 2005), Lương Minh Thắng (đồng nghiệp của tôi tại Stanford và hiện nay ở Google), Phạm Thành Thái (huy chương Olympiad toán quốc tế 2007). Được vinh danh trong cùng một danh sách với họ, tôi cảm thấy tự hào. Tôi càng cảm thấy vui vì mang lại niềm vui cho người thân của mình.

Sau những tự hào ban đầu, tôi coi lần được vinh danh này là quá khứ để cố gắng làm được nhiều điều hơn trong tương lai. TS. Lê Viết Quốc, đồng nghiệp ở Google và cũng là đồng chủ tịch hội đồng luận văn tiến sĩ của tôi, sau khi chúc mừng, đã nói với tôi rằng thành tích đó là tốt, nhưng tôi phải hướng đến những mục tiêu lớn hơn, cố gắng cho những nghiên cứu của mình được cộng đồng quốc tế biết đến chứ không chỉ gói gọn trong Việt Nam. Tôi coi đây là mục tiêu của mình.

Bạn có thể giới thiệu về đề tài nghiên cứu sinh tiến sĩ thuộc chương trình Google-PhD?

Hiện tại, tôi tập trung hoàn thành luận văn tiến sĩ, là đề tài nghiên cứu “Nâng cao hiệu suất của mạng neuron”.

Trước hết cần phải hiểu khái niệm “hiệu suất” của mạng neuron. Để có một mạng neuron hoàn chỉnh, ta cần trải qua nhiều bước, mỗi bước có một thước đo hiệu suất cụ thể, gồm:

1. Thu thập dữ liệu để huấn luyện mạng. Hiệu suất của bước này được đo bằng lượng dữ liệu cần có để đạt được độ chính xác nhất định. Ví dụ, Google Translate cần được huấn luyện bằng 1 triệu câu song ngữ Anh - Việt thì mới đạt chất lượng dịch như hiện nay.

2. Thiết kế mạng. Hiệu suất của bước này được đo bằng thời gian bỏ ra để thiết kế được một mạng neuron tương đối tốt.

3. Thực hiện quá trình huấn luyện. Hiệu suất của bước này được đo bằng thời gian để huấn luyện mạng tìm được trong bước (2) bằng dữ liệu thu thập được trong bước (1).

Luận văn của tôi là một thuật toán tổng quát có thể nâng cao hiệu suất của các 3 bước trên. Tôi đã hoàn thành bước (2) và (3). Bước (2) chính là thuật toán được công bố trong bài báo "Nâng cao hiệu quả tìm kiếm cấu trúc mạng neuron qua chia sẻ các thông số". Bước (3) được công bố trong 1 bài báo khác vào năm 2017.

Bước (1) tuy là bước đầu tiên trong quy trình, nhưng lại khó khăn hơn hai bước kia rất nhiều. Tôi đã đạt được một số kết quả nhất định, tuy nhiên vì các nghiên cứu này chưa công bố, hơn nữa các kết quả cũng chứa những thông tin bí mật của Google nên tôi xin phép tạm thời không nói thêm về các kết quả này.

Được biết Google-PhD là một mô hình đào tạo tiến sĩ tương đối đặc biệt của Google…

Đây là chương trình liên kết giữa Google và các trường đại học để đào tạo nghiên cứu sinh tiến sĩ (PhD Students). Phương thức hoạt động của chương trình là: Google và một trường đại học sẽ ký thỏa thuận. Nội dung thỏa thuận tùy vào từng trường, nhưng tiêu chí chung là nghiên cứu sinh sẽ được làm việc tại Google, sử dụng tài nguyên tính toán của Google... để thực hiện các nghiên cứu.

Mỗi nghiên cứu sinh đều có ít nhất hai giáo sư hướng dẫn (thay vì một như mô hình thông thường), trong đó có một giáo sư của trường và một nhà khoa học đại diện cho Google. Google ngoài việc cung cấp tài nguyên tính toán, còn trả lương cho các nghiên cứu sinh. Đổi lại, Google có quyền sử dụng các kết quả nghiên cứu cho sản phẩm của mình. Hiện tại, Google đang thực hiện chương trình này với các đại học: Carnegie Mellon University (CMU-Mỹ),  Stanford (Mỹ), University of Montreal (Canada) và New York University (NYU- Mỹ).

"Chúng ta có nhiều bạn học sinh/sinh viên/nghiên cứu sinh, với nền tảng toán và lập trình tương đối vững. Chúng ta cũng có một thế giới công nghệ đang phát triển rất nhanh, trong đó nhiều người mang hoài bão lớn để xây dựng những công nghệ mới. Nếu những “tài nguyên” này được tạo điều kiện phát triển, tôi nghĩ Việt Nam sẽ vươn lên về lĩnh vực AI."

Phạm Hy Hiếu

CMU và Stanford là 2 trong số 4 trường cùng xếp hạng nhất về đào tạo sau đại học trong ngành khoa học máy tính ở Mỹ (xếp hạng của USNEWS). Bên cạnh đó, Đại học Montreal là nơi công tác của GS. Yoshua Bengio, còn NYU là nơi công tác của GS. Yann LeCun. Cùng với Geoff Hinton, hiện đang là Phó chủ tịch phụ trách AI (trí tuệ nhân tạo) của Google, GS. Bengio và GS. LeCun vừa được trao giải thưởng Turing (được ví như giải Nobel của tin học hay Fields của toán) cho các đóng góp vào lĩnh vực Machine Learning. Như vậy, có thể thấy các trường mà Google “chọn” làm đối tượng hợp tác đều là những tên tuổi lớn trong AI nói riêng và khoa học máy tính nói chung.

Tiêu chí tuyển sinh khá cao. Năm 2019, Google và các trường chỉ tuyển thêm 4 người. Như vậy, đến tháng 9.2019, có tổng cộng 8 nghiên cứu sinh tham gia chương trình này.

Google-PhD là mô hình đào tạo khá mới, nếu như triển khai ở Việt Nam thì có khả thi?

Tôi nghĩ là vô cùng khả thi. Thực tế đã có những đơn vị nghĩ đến cách xây dựng các chương trình tương tự. Lý do là vì mô hình này được Google tạo ra trong ngành trí tuệ nhân tạo (Artificial Intelligence, AI) và học máy (Machine Learning, ML). Đây là hai ngành đang phát triển rất nhanh trong khoa học máy tính, chính vì thế, mô hình này đã lập tức được các công ty công nghệ khác trong Thung lũng Silicon ứng dụng.

Ví dụ thứ nhất là Salesforce, một gã khổng lồ công nghệ ở Thung lũng Silicon, đã xây dựng chương trình đào tạo nghiên cứu sinh tương tự với Đại học Nanyang (Nanyang Technological University, NTU) của Singapore. Salesforce khai thác một lợi thế của Singapore, đó là chính phủ và luật pháp rất hoan nghênh và tạo điều kiện. Chương trình đã có những thành công đầu tiên, như các giáo sư và nghiên cứu sinh của NTU bắt đầu xuất hiện cùng Salesforce để công bố các nghiên cứu ở những hội nghị hàng đầu về AI và ML.

Ví dụ thứ hai đến từ chính Việt Nam. Chúng ta có Vin University đang được xây dựng và phát triển. Bên cạnh đó, VinGroup cũng xây dựng các đơn vị nghiên cứu AI của riêng mình, nên tôi nghĩ sẽ không có gì lạ nếu các đơn vị nghiên cứu này phối hợp cùng với Vin University để tạo ra các chương trình nghiên cứu tương tự.

Là người trẻ nhưng thành tích nghiên cứu khoa học của bạn rất dày, với 12 bài báo công bố tại các hội nghị khoa học, tạp chí khoa học, với 4.635 lượt trích dẫn (tính đến ngày 25.4.2020); trong đó đáng chú ý nhất là báo cáo Nâng cao hiệu quả tìm kiếm cấu trúc mạng neuron qua chia sẻ các thông số. Động lực nào thôi thúc bạn thực hiện được những điều đáng ngưỡng mộ như trên?

Tôi nghĩ mình rất may mắn trong quá trình nghiên cứu. Tôi được làm việc đúng nơi, đúng thời điểm, và được hướng dẫn bởi những người có suy nghĩ đúng đắn. Bài báo được nhắc ở trên là một ví dụ. Xin được kể về quá trình thực hiện nghiên cứu đó để thấy tôi đã có những động lực như thế nào.

Khi bắt đầu ấp ủ ý tưởng và thảo luận với TS. Lê Viết Quốc, anh Quốc đã nói ý tưởng đó là điên rồ. Tuy nhiên anh ấy cũng nói là nếu tôi muốn làm thì anh không ngăn cản. Tôi “cứng đầu” làm thật. Phát triển ý tưởng đó mất 11 tháng. Trong khoảng 6 tháng đầu tiên, 100% các thí nghiệm đều thất bại.

Quá trình “chia sẻ các thông số” khiến cho việc huấn luyện các mạng neuron với tham số được chia sẻ trở nên vô cùng bất ổn định. Lúc đó vừa chán nản vừa lo sợ vì mất quá nhiều thời gian, nhưng chính TS. Lê Viết Quốc lại là người động viên tôi đừng bỏ cuộc. Anh Quốc tạo ra hai cơ hội lớn cho tôi trong thời gian này.

Đầu tiên là anh sắp xếp cho tôi được gặp Geoff Hinton, Phó tổng giám đốc của Google chuyên về mảng AI và là một trong ba nhà khoa học được trao giải thưởng Turing vì những nghiên cứu về mạng neuron. Cuộc gặp này rất khó vì ông Hinton rất bận. Thế nhưng anh Quốc sắp xếp để ông bỏ ra 30 phút lắng nghe tôi trình bày.

Ông nói cho tôi biết những suy đoán của ông về việc tại sao các kết quả của tôi lại “thảm họa” như thế, từ đó giúp tôi có hướng cải tiến ý tưởng của mình. Quan trọng hơn, tôi cảm thấy mình được lắng nghe. Bởi vì những kết quả mà mình cho rằng “thảm họa” lại được một nhà khoa học lỗi lạc phân tích, đánh giá, và cải thiện. Đây là động lực thứ nhất của tôi: muốn các ý tưởng của mình được lắng nghe.

Các đồng nghiệp người Việt tại Google năm 2019 (từ trái): TS. Lương Minh Thắng, TS. Lê Viết Quốc, TS. Bùi Hải Hưng, Trịnh Hoàng Triều và Phạm Hy Hiếu. Hiện TS. Bùi Hải Hưng đã về nước làm Viện trưởng AI của VinGroup (VinAI Research)

Thứ hai là anh Quốc “lôi kéo” Barret Zoph, một nhà khoa học trẻ khác của Google, rất giỏi về lập trình nhận diện hình ảnh. Nhờ anh Quốc sắp xếp, Barret Zoph tham gia cùng tôi phát triển đề tài này và giúp sửa rất nhiều lỗi trong các chương trình mà tôi viết. Đây là động lực thứ hai: muốn được làm với những người giỏi để học hỏi.

Cuối cùng, khoảng hai tháng sau khi tôi gặp Hinton, các kết quả tích cực đầu tiên đã xuất hiện. Tôi viết một bài báo khoa học nộp cho một hội nghị tương đối lớn. Bài báo bị từ chối vì những người duyệt bài nói rằng ý tưởng của tôi là điên rồ; hơn nữa trình bày lại rối rắm, khó hiểu. Lúc bài báo bị từ chối là khoảng Noel năm 2017.

Ở Mỹ, mùa Noel người người, nhà nhà đều nghỉ ngơi hoặc đi du lịch, nhưng chúng tôi thì không. Chính trong mùa nghỉ lễ này, anh Quốc thức khuya giúp tôi sửa lại bài báo, chỉ ra các thí nghiệm cần thực hiện thêm… Cuối cùng, chúng tôi nộp lại vào ICML (International Conference on Machine Learning - Hội nghị quốc tế về học máy) và bài báo được nhận đăng.

Nếu được yêu cầu đưa ra những nhận định ngắn gọn về lĩnh vực trí tuệ nhân tạo, sự bùng nổ của nó trong thời gian qua, bạn sẽ giới thiệu với người đối diện những thông tin gì? 

Câu hỏi này hơi rộng nhưng nếu chỉ đưa ra "những nhận định ngắn gọn về AI" thì tôi nghĩ trí tuệ nhân tạo (AI) vẫn là các chương trình máy tính. Tuy nhiên, khác với các chương trình "truyền thống", được lập trình dựa vào hiểu biết và phán đoán của các lập trình viên, AI được lập trình từ dữ liệu.

Vì được lập trình bằng dữ liệu nên AI có khả năng đưa ra các xử lý linh hoạt hơn các chương trình "truyền thống". Con người đã tìm được nhiều cách để tận dụng sự linh hoạt này của AI cho nhiều mục đích, ví dụ như nhận diện hình ảnh và gương mặt, nhận diện và hiểu giọng nói, dịch tự động... Tuy nhiên, vì AI hiện tại vốn là (và có lẽ sẽ mãi mãi là) các chương trình máy tính, nên AI vẫn có những giới hạn nhất định của nó.

Ví dụ, nhiều chương trình AI vẫn phản ánh các giới hạn của người lập trình viên viết ra nó, hoặc phản ánh các quy luật không tốt có sẵn trong dữ liệu. Rất nhiều người đang làm việc ngày đêm để vượt qua các giới hạn này của AI.

Đặt trong bối cảnh  bùng phát dịch bệnh COVID-19 hiện nay, liệu cuộc khủng hoảng sức khỏe cộng đồng lớn như vậy có là phép thử cho ngành công nghệ? Công nghệ mà cụ thể là AI sẽ đóng vai trò như thế nào?

COVID-19 là một cuộc khủng hoảng toàn cầu chứ không chỉ giới hạn cho ngành công nghệ. Tất nhiên, các thử thách luôn đi kèm cơ hội. Một trong những đóng góp của AI là các phương pháp phân tích dữ liệu tự động. Bản thân tôi không  là chuyên gia về lĩnh vực này nhưng có một số hiểu biết sơ lược.

Cụ thể, việc hiểu được cấu trúc các protein của virus Corona có thể dẫn đến nhiều tiến bộ trong việc chế tạo kháng sinh cũng như vaccine. Gần đây, DeepMind công bố rằng công nghệ AlphaFold của nhóm có thể giúp dự đoán nhiều cấu trúc con trong đại phân tử protein của virus Corona. Đây có lẽ là một đóng góp có ích cho các nghiên cứu khẩn cấp để đối phó với dịch COVID-19.

Là một chuyên gia trong lĩnh vực AI, theo bạn những năm tới ngành này sẽ đi theo hướng nào, hay đúng hơn là sẽ tập trung vào những lĩnh vực cốt lõi nào?

Tôi nghĩ có một vài lĩnh vực chính. Đầu tiên là sản xuất phần cứng rẻ và hiệu quả.  AI vốn là các chương trình máy tính. Để vận hành được các chương trình này, cần sử dụng những máy tính có cấu hình rất mạnh. Các máy tính này vốn đắt đỏ, khi vận hành cũng rất tốt kém. Vì thế, việc sản xuất các phần cứng mới rẻ hơn, nhanh hơn… sẽ mang lại lợi ích rất lớn cho sự phát triển của AI.

Thứ hai là thu thập và sử dụng dữ liệu. AI thường được huấn luyện bằng dữ liệu. Thành tựu của cuộc cách mạng Deep Learning đã chỉ ra rằng dữ liệu có càng nhiều thì chất lượng của AI được tạo ra càng tốt. Tuy nhiên, thu thập dữ liệu là một việc làm tốn kém. Vì thế, nghĩ ra các phương pháp hiệu quả hơn để thu thập dữ liệu cũng như sử dụng hiệu quả hơn lượng dữ liệu có sẵn là hai vấn đề then chốt của Deep Learning. Vì AI hiện tại phụ thuộc rất nhiều vào Deep Learning nên thu thập và sử dụng dữ liệu rất quan trọng.

Thứ ba là tư duy trừu tượng và sáng tạo. Tư duy trừu tượng là một khái niệm triết học rất... “trừu tượng”. AI hiện đã có thể vẽ tranh theo phong cách Van Gogh hoặc sáng tác nhạc theo phong cách J.S.Bach. Tuy nhiên, những thành tựu này chưa đủ để khẳng định AI có khả năng tư duy trừu tượng. Định nghĩa thế nào là tư duy trừu tượng và sáng tạo, rồi từ từ tạo ra các AI đạt được các tiêu chuẩn này, sẽ là những thành quả vô cùng lớn lao đối với AI.

Theo bạn, mức độ đáp ứng của Việt Nam với cuộc cách mạng 4.0 trong hạ tầng, con người, cơ chế… thì yếu tố nào quan trọng nhất?

Theo tôi, Việt Nam có lợi thế tương đối lớn về con người. Chúng ta có nhiều bạn học sinh/sinh viên/nghiên cứu sinh, với nền tảng toán và lập trình tương đối vững. Chúng ta cũng có một thế giới công nghệ đang phát triển rất nhanh, trong đó nhiều người mang hoài bão lớn để xây dựng những công nghệ mới. Nếu những “tài nguyên” này được tạo điều kiện phát triển, tôi nghĩ Việt Nam sẽ vươn lên về lĩnh vực AI.

Trung Dũng thực hiện - Ảnh: H.L