Chào bạn! Bạn đã bao giờ cảm thấy việc xây dựng một ứng dụng SaaS chuyên biệt (theo chiều dọc) được hỗ trợ bởi AI là cực kỳ tốn kém và phức tạp chưa? Đó là một nỗi đau chung – việc truy cập và chạy các Mô hình ngôn ngữ lớn (LLM) mạnh mẽ đó có thể nhanh chóng làm cạn kiệt tài nguyên của bạn. DeepSeek, một mô hình AI mới, có thể là câu trả lời. Nó đang làm rung chuyển mọi thứ bằng cách cung cấp hiệu suất tương đương với những gã khổng lồ như OpenAI nhưng với chi phí thấp hơn nhiều. 

Trong bài viết này, chúng ta sẽ đi sâu vào cách DeepSeek đang thay đổi cuộc chơi cho các công ty khởi nghiệp ứng dụng AI, đặc biệt là trong không gian SaaS dọc.

DeepSeek và Bối cảnh Ứng dụng AI

DeepSeek là gì và tại sao nó lại là yếu tố thay đổi cuộc chơi?

DeepSeek là một nền tảng AI tiên tiến cung cấp các công cụ để xử lý ngôn ngữ tự nhiên, phân tích dữ liệu và tự động hóa. Mô hình suy luận r1 của nó, được phát triển ở Trung Quốc với chi phí dưới 6 triệu đô la, đang cạnh tranh trực tiếp với các mô hình từ các công ty như OpenAI, vốn đã chi hàng trăm triệu cho việc phát triển. Sự khác biệt về giá này đặt ra một câu hỏi quan trọng: chúng ta có đang trả quá cao cho AI không? DeepSeek được thiết kế để hoạt động ở mức tương tự như các LLM tiên tiến khác nhưng đòi hỏi sức mạnh tính toán ít hơn đáng kể.

Tác động của DeepSeek đối với các công ty mô hình nền tảng

Việc phát hành mô hình r1 của DeepSeek đã gây ra nhiều cuộc thảo luận trong ngành VC và AI. Những lo ngại đang gia tăng về định giá của các công ty mô hình nền tảng như OpenAI và Mistral AI. Giá cổ phiếu của Nvidia, một nhà sản xuất chip lớn, đã giảm đáng kể sau khi DeepSeek ra mắt. Câu chuyện phần lớn tập trung vào việc mô hình hiệu quả, chi phí thấp này đe dọa hàng tỷ đô la đầu tư vào các mô hình nền tảng như thế nào (15,7 tỷ đô la trên toàn cầu trong ba quý đầu năm ngoái, theo dữ liệu của PitchBook).

Dân chủ hóa AI và giảm rào cản gia nhập

Một trong những thách thức đáng kể đối với các công ty khởi nghiệp ứng dụng AI là chi phí truy cập hoặc chạy LLM. Họ phải đối mặt với phí truy cập API cao hoặc nhu cầu xây dựng sức mạnh tính toán đáng kể. DeepSeek làm giảm đáng kể những rào cản này. Bản chất nguồn mở của nó cũng cho phép tùy chỉnh dữ liệu nhiều hơn cho các trường hợp sử dụng cụ thể, làm cho nó đặc biệt có lợi cho các công ty khởi nghiệp AI dọc. Đây là những công ty tập trung vào các ngành công nghiệp thích hợp, cho phép họ xây dựng các ứng dụng có tính tùy biến cao.

Ưu điểm của DeepSeek đối với Vertical SaaS

Tăng cường hiệu quả và kinh tế khởi nghiệp

Chi phí hoạt động thấp hơn của DeepSeek cho phép các công ty khởi nghiệp đưa các sản phẩm hỗ trợ AI ra thị trường nhanh hơn. Điều này đặc biệt quan trọng đối với các công ty khởi nghiệp bên ngoài Hoa Kỳ, đặc biệt là ở châu Âu, nơi thiếu vốn thường được coi là rào cản lớn đối với việc mở rộng quy mô. DeepSeek giúp san bằng sân chơi. Với một mô hình AI có giá cả phải chăng hơn, các công ty khởi nghiệp có thể đạt được các mốc quan trọng với ít kinh phí hơn, mang lại lợi ích cho các nhà đầu tư ban đầu. 

DeepSeek không chỉ giúp các startups tiết kiệm chi phí về mặt tính toán, mà còn tạo điều kiện cho việc thử nghiệm và triển khai các ý tưởng mới một cách nhanh chóng. Việc giảm bớt gánh nặng tài chính cho phép các công ty tập trung nguồn lực vào phát triển sản phẩm, marketing và các hoạt động kinh doanh cốt lõi khác. Thêm vào đó, khả năng tùy biến cao của DeepSeek cho vertical SaaS cho phép các công ty điều chỉnh mô hình theo nhu cầu riêng, thay vì phải phụ thuộc vào các giải pháp AI “một kích cỡ vừa cho tất cả”.

Hiệu suất và khả năng chưng cất của DeepSeek

Các mô hình của DeepSeek được thiết kế để hiệu quả. Điều thú vị là, việc chưng cất kiến thức từ mô hình DeepSeek R1 lớn hơn sang các mô hình nhỏ hơn thông qua Tinh chỉnh phần mềm (SFT) thường mang lại kết quả tốt hơn so với việc áp dụng trực tiếp quy trình Học tăng cường (RL). Điều này lặp lại những quan sát từ những ngày đầu của ChatGPT, nơi việc tinh chỉnh đơn giản trên dữ liệu chất lượng cao từ các mô hình lớn hơn đã tạo ra kết quả tuyệt vời.

Ứng dụng thực tế và ý kiến chuyên gia

Một số chuyên gia SaaS đã thử nghiệm DeepSeek AI trong nhiều trường hợp sử dụng khác nhau:

• Tự động hóa hỗ trợ khách hàng: Khả năng xử lý ngôn ngữ tự nhiên của DeepSeek cho phép trả lời nhanh chóng, nhận biết ngữ cảnh, giảm khối lượng công việc thủ công.
• Tự động hóa tập lệnh Python: DeepSeek có thể làm sạch và cấu trúc dữ liệu khách hàng, tạo mã hiệu quả và chức năng.
• Phân tích tài liệu pháp lý: DeepSeek có thể sàng lọc qua một lượng lớn dữ liệu pháp lý không có cấu trúc, xác định chính xác những thông tin chi tiết quan trọng một cách nhanh chóng.
• Tạo nội dung thân thiện với SEO: DeepSeek có thể tạo các bản nháp có cấu trúc, giàu nghiên cứu, đặc biệt là cho các chủ đề kỹ thuật.
• Tự động hóa phân tích đối thủ cạnh tranh: DeepSeek có thể quét và tóm tắt những thông tin chi tiết quan trọng từ nhiều nguồn, làm nổi bật các mô hình định giá, tình cảm của khách hàng và các xu hướng mới nổi.
• Tăng cường các chiến lược PR kỹ thuật số: Phân tích của DeepSeek AI để điều chỉnh nội dung cho các đối tượng cụ thể và cải thiện mức độ tương tác của khán giả.
• Thực hiện nghiên cứu thị trường trong SaaS: DeepSeek có thể tìm thấy các điểm chuẩn lương cho các vai trò kỹ thuật, bằng cách tìm các bài đăng tuyển dụng ẩn.

Nhược điểm và cân nhắc tiềm năng

Hạn chế trong các tác vụ hội thoại và nội dung sáng tạo

Mặc dù DeepSeek vượt trội trong việc xử lý các tập dữ liệu lớn và tạo ra các đầu ra có cấu trúc, nhưng nó có thể gặp khó khăn với nội dung sáng tạo, hấp dẫn và các tác vụ hội thoại. Đối với nội dung tiếp thị hoặc bài đăng trên blog, nó có thể cảm thấy cứng nhắc và nặng về dữ liệu. ChatGPT thường vượt trội hơn trong việc tạo nội dung tự nhiên, thân thiện với khán giả. DeepSeek, trong một số trường hợp, có thể đưa ra các câu trả lời thiếu sắc thái hoặc không phù hợp với giọng điệu của thương hiệu.

Lo ngại về bảo mật và quyền riêng tư dữ liệu

Có những lo ngại về bảo mật và quyền riêng tư dữ liệu của DeepSeek, đặc biệt là liên quan đến mối liên hệ của nó với một công ty Trung Quốc và khả năng truy cập dữ liệu tiềm ẩn của chính phủ Trung Quốc. Một đánh giá của công ty tuân thủ AI LatticeFlow AI đã tìm thấy các lỗ hổng tấn công mạng đáng kể trong mô hình. Cụ thể, báo cáo của LatticeFlow AI chỉ ra rằng DeepSeek có thể dễ bị tấn công bởi các phương pháp “prompt injection” (chèn câu lệnh), trong đó kẻ tấn công có thể thao túng đầu vào của mô hình để tạo ra kết quả không mong muốn hoặc tiết lộ thông tin nhạy cảm. 

Ngoài ra, do DeepSeek được phát triển ở Trung Quốc, các công ty và cá nhân sử dụng nó có thể phải tuân theo luật và quy định về bảo mật dữ liệu của Trung Quốc, điều này có thể gây ra những lo ngại về quyền riêng tư và bảo mật cho người dùng bên ngoài Trung Quốc. Người dùng DeepSeek nên triển khai các biện pháp bảo mật mạnh mẽ, bao gồm kiểm tra đầu vào cẩn thận, giám sát đầu ra của mô hình và sử dụng các kỹ thuật mã hóa để bảo vệ dữ liệu nhạy cảm.

Quy trình đào tạo của DeepSeek

DeepSeek sử dụng một quy trình đào tạo phức tạp, kết hợp nhiều kỹ thuật học máy khác nhau. Điều này bao gồm cả việc tận dụng các mô hình ngôn ngữ lớn hiện có, tự động hoá thu thập và gán nhãn dữ liệu. Việc hiểu rõ quy trình này giúp các nhà phát triển hiểu rõ hơn về cách thức hoạt động và tối ưu hiệu quả.

Mô hình DeepSeek r10: Học tăng cường từ đầu

Mô hình DeepSeek r10 được phát triển bằng cách sử dụng Học tăng cường (RL) trực tiếp trên mô hình cơ sở DeepSeek V3, *không* sử dụng bất kỳ dữ liệu Tinh chỉnh có giám sát (SFT) nào làm khởi đầu. Điều này rất quan trọng vì nó chứng minh khả năng suy luận có thể được cải thiện đáng kể, ngay cả khi không có dữ liệu giám sát ban đầu. Một câu lệnh đơn giản đã được sử dụng để cho phép mô hình cơ sở tạo ra các thẻ cần thiết cho RL. Họ đã sử dụng các đầu ra có thể kiểm chứng (phần thưởng không-một).

Mô hình DeepSeek R1: Cách tiếp cận đa giai đoạn

Mô hình R1 sử dụng một quy trình đa giai đoạn, phức tạp hơn. Họ đã thu thập một lượng lớn dữ liệu SFT, và quy trình RLHF thông thường được áp dụng.

Điều này bao gồm:

1. Dữ liệu Chuỗi suy nghĩ khởi đầu: Một vài nghìn ví dụ về dữ liệu Chuỗi suy nghĩ (CoT) dài được sử dụng, như đã đề cập trong bài viết nguồn.
2. SFT: Tinh chỉnh có giám sát được thực hiện trên mô hình cơ sở.
3. Lấy mẫu từ chối: Nhiều đầu ra được tạo ra từ mô hình, và một cơ chế lựa chọn (ví dụ: dựa trên điểm số từ một mô hình phần thưởng) được sử dụng để chọn ra đầu ra tốt nhất. Các đầu ra không được chọn sẽ bị loại bỏ.
4. RL: Học tăng cường được áp dụng ở giai đoạn cuối cùng.

Chưng cất: Một kỹ thuật mạnh mẽ

DeepSeek cũng khám phá việc chưng cất, trong đó kiến thức từ mô hình R1 lớn hơn được chuyển sang các mô hình nhỏ hơn. Họ nhận thấy rằng việc tinh chỉnh đơn giản các mô hình nhỏ hơn trên dữ liệu do mô hình R1 tạo ra thường mang lại hiệu suất tốt hơn so với việc áp dụng toàn bộ quy trình RL. Quá trình này bao gồm việc huấn luyện một mô hình nhỏ hơn, thường được gọi là “học sinh,” để bắt chước hành vi của mô hình lớn hơn, “giáo viên”. Mô hình học sinh học cách tạo ra các đầu ra tương tự như mô hình giáo viên, nhưng với ít tài nguyên tính toán hơn. 

Một ví dụ điển hình là việc sử dụng mô hình DeepSeek R1 để tạo ra một tập dữ liệu lớn các ví dụ, sau đó sử dụng tập dữ liệu này để huấn luyện một mô hình nhỏ hơn, chẳng hạn như một biến thể của mô hình QuEN. Kết quả cho thấy mô hình nhỏ hơn, được huấn luyện thông qua chưng cất, có thể đạt được hiệu suất tương đương hoặc thậm chí vượt trội so với mô hình lớn hơn trong một số nhiệm vụ nhất định.

Chi tiết kỹ thuật của phương pháp DeepSeek

DeepSeek, trong quá trình phát triển, có thể đã sử dụng các framework như Megatron hoặc các framework tương tự để hỗ trợ quá trình huấn luyện. Điều này cho thấy sự phức tạp đáng kể trong việc xây dựng và vận hành hạ tầng tính toán.

Mô hình phần thưởng và chiến lược nhắc nhở

DeepSeek sử dụng hai phần thưởng đơn giản:

• Phần thưởng chính xác: Kiểm tra xem câu trả lời có đúng không.
• Phần thưởng định dạng: Khuyến khích mô hình đặt quá trình suy nghĩ của nó giữa các thẻ “think” và “think” và câu trả lời giữa các thẻ “answer” và “answer”. Điều này có thể được thực hiện bằng cách sử dụng kiểm tra biểu thức chính quy.

Họ *không* sử dụng các mô hình phần thưởng kết quả hoặc quá trình, vì họ nhận thấy những điều này có thể dẫn đến hack phần thưởng.

Giải quyết việc trộn ngôn ngữ

Mô hình đôi khi thể hiện “trộn ngôn ngữ”, chuyển sang tiếng Trung Quốc ở giữa câu trả lời tiếng Anh. Để ngăn chặn điều này, một “phần thưởng nhất quán ngôn ngữ” đã được thêm vào. “Phần thưởng nhất quán ngôn ngữ” hoạt động bằng cách đo lường tỷ lệ các từ thuộc ngôn ngữ chính (ví dụ: tiếng Anh) trong phần “suy nghĩ” của mô hình. Nếu tỷ lệ này thấp hơn một ngưỡng nhất định, mô hình sẽ bị phạt. Điều này khuyến khích mô hình duy trì sự nhất quán trong ngôn ngữ được sử dụng trong suốt quá trình tạo văn bản. 

Ví dụ: nếu mô hình đang tạo một câu trả lời bằng tiếng Anh và đột nhiên chèn một cụm từ tiếng Trung Quốc vào phần “suy nghĩ”, phần thưởng nhất quán ngôn ngữ sẽ phát hiện sự không nhất quán này và áp dụng một hình phạt, làm giảm khả năng mô hình tiếp tục trộn lẫn ngôn ngữ. Ví dụ, nếu ngưỡng tỷ lệ từ tiếng Anh là 80%, và mô hình tạo ra một chuỗi suy nghĩ có 60% từ tiếng Anh và 40% từ tiếng Trung, nó sẽ nhận một hình phạt tương ứng.

Đào tạo đa giai đoạn

Quá trình đào tạo DeepSeek bao gồm nhiều giai đoạn, mỗi giai đoạn tập trung vào một khía cạnh cụ thể của hiệu suất mô hình.

1. RL ban đầu trên dữ liệu suy luận: Giai đoạn này tập trung vào việc cải thiện khả năng suy luận logic của mô hình. DeepSeek sử dụng một tập dữ liệu lớn các ví dụ suy luận, chẳng hạn như các bài toán hoặc các câu hỏi logic, và huấn luyện mô hình để tạo ra các câu trả lời chính xác.
2. Thu thập dữ liệu từ các miền khác: Sau khi mô hình đã đạt được mức độ thành thạo nhất định trong việc suy luận, nó được sử dụng để tạo ra dữ liệu từ các miền khác, chẳng hạn như các tác vụ ngôn ngữ tự nhiên tổng quát hoặc các cuộc hội thoại. 600k dữ liệu mới được thu thập từ mô hình cho vòng tiếp theo. Dữ liệu này được sử dụng để cải thiện khả năng của mô hình trong các lĩnh vực ngoài suy luận logic.
3. RL thứ cấp: Giai đoạn cuối cùng của quá trình đào tạo liên quan đến việc tinh chỉnh mô hình bằng cách sử dụng học tăng cường. Ở giai đoạn này, một mô hình phần thưởng được sử dụng để đánh giá chất lượng của các đầu ra của mô hình, và mô hình được huấn luyện để tạo ra các đầu ra có điểm số cao hơn. Việc kết hợp các giai đoạn này giúp mô hình học cách tạo ra các câu trả lời chính xác, mạch lạc và phù hợp với ngữ cảnh.

Những gì không hoạt động

Bài báo cũng trình bày chi tiết các phương pháp *không* thành công:

• Mô hình phần thưởng quá trình (PRM): Sử dụng PRM, như trong RLHF truyền thống, được phát hiện là kém hiệu quả hơn. Họ nghi ngờ điều này có thể là do khó khăn trong việc đào tạo một PRM đủ khả năng cho một mô hình lớn như vậy.
• Tìm kiếm cây Monte Carlo (MCTS): MCTS, một thuật toán tìm kiếm được sử dụng rộng rãi trong các trò chơi và bài toán lập kế hoạch, đã không cho thấy sự cải thiện hiệu suất đáng kể khi áp dụng cho DeepSeek. Thuật toán MCTS hoạt động bằng cách xây dựng một cây tìm kiếm, trong đó các nút đại diện cho các trạng thái có thể có của hệ thống, và các cạnh đại diện cho các hành động. Thuật toán duyệt cây bằng cách mô phỏng các hành động ngẫu nhiên và sử dụng kết quả mô phỏng để ước tính giá trị của mỗi nút. Mặc dù MCTS đã rất thành công trong một số lĩnh vực, nhưng DeepSeek lại không cải thiện được. Các nhà nghiên cứu cho rằng điều này có thể do khó khăn trong việc đào tạo một mô hình đủ mạnh

Kết luận: Tương lai của các ứng dụng AI

Cuộc đua AI toàn cầu đã chuyển sang hiệu quả. Các mô hình AI sẽ cần phải tiết kiệm chi phí hơn để cạnh tranh. Trong khi các công ty mô hình nền tảng cạnh tranh để giành ưu thế, các công ty khởi nghiệp ứng dụng AI, đặc biệt là trong không gian SaaS dọc, đã sẵn sàng để tăng trưởng nhanh chóng, được thúc đẩy bởi những tiến bộ như DeepSeek. 

DeepSeek không chỉ là một công cụ; nó đại diện cho một sự thay đổi trong cách các công ty SaaS dọc có thể tiếp cận và triển khai AI. Bằng cách giảm chi phí và rào cản kỹ thuật, nó mở ra cơ hội cho sự đổi mới và cạnh tranh. Đối với các công ty vertical SaaS, DeepSeek mang lại lợi thế cạnh tranh đặc biệt. Ví dụ, một công ty SaaS trong lĩnh vực chăm sóc sức khỏe có thể sử dụng DeepSeek để phân tích hồ sơ bệnh án, chẩn đoán bệnh sớm, hoặc cá nhân hóa kế hoạch điều trị. Một công ty SaaS trong lĩnh vực tài chính có thể sử dụng DeepSeek để phát hiện gian lận, dự báo rủi ro, hoặc tối ưu hóa danh mục đầu tư. Việc giảm chi phí và tăng khả năng tùy chỉnh của DeepSeek giúp các công ty này tạo ra các giải pháp AI chuyên biệt, hiệu quả hơn so với việc sử dụng các mô hình AI tổng quát. 

Trong tương lai, chúng ta có thể mong đợi thấy nhiều công ty SaaS dọc hơn tận dụng sức mạnh của DeepSeek và các mô hình tương tự để tạo ra các giải pháp AI tùy chỉnh, mang lại giá trị cao hơn cho khách hàng của họ. Sự dân chủ hóa AI này có thể dẫn đến một làn sóng các ứng dụng SaaS dọc mới, tập trung vào các ngách cụ thể và giải quyết các vấn đề kinh doanh phức tạp.