Tag: AI

Run MarkItDown On Local And Check The Accuracy Of Some Files Types Like PPT, Excel, Images

Posted on by Nguyễn Công Tình

Link github:

https://github.com/microsoft/markitdown

git clone [email protected]:microsoft/markitdown.git

cd markitdown

pip install -e packages/markitdown

git clone git@github.com:microsoft/markitdown.git

Now try it

First I try it with this PDF document

PDF document

Then, this is result


It looks good!

Then, I try it with PPTX file

This is the result. It seems to be able to get quite complete information on the slide including links, page numbers, comments, etc. but it cannot get information on images, shapes or charts.

Finally, I try it with Excel file

It seems to be able to get the content of all sheets. However it takes blank cells and sets the value to NaN. Also it can’t get the text on the image.

I think this output needs to be processed further if I want to use it.

Thanks for reading!

bolt.diy + DeepSeek Then Make A Simple App On Local PC

Posted on by Nguyễn Công Tình

1. Download bolt.diy

https://github.com/stackblitz-labs/bolt.diy/releases/tag/v0.0.6

Download bolt.diy

2. Install NodeJS

  1. Visit the [Node.js Download Page]  (https://nodejs.org/en/download/)
  2. Download the “LTS” (Long Term Support) version for your operating system
  3. Run the installer, accepting the default settings
  4. Verify Node.js is properly installed:

  For Windows Users:

  1. Press Windows + R
  2. Type sysdm.cpl and press Enter
  3. Go to Advanced tab → Environment Variables
  4. Check if Node.js appears in the Path variable

For Mac/Linux Users:

  1. Open Terminal
  2. Type this command:

     “`bash

    echo $PATH

    “`

  3. Look for “/usr/local/bin” in the output

3. Run application

Install Package Manager (pnpm): npm install -g pnpm

Install Project Dependencies: pnpm install

Start the Application: pnpm run dev

Run application
Run application

4. Bolt.diy Interface

Bolt.diy Interface

You can select multi chatbot API such as Open AI, Amazon Bedrock,…

Bolt.diy Interface

I will try to use Deepseek API

Bolt.diy Interface

You need register a deepseek account and make a API key

Bolt.diy Interface

Copy Api key and paste into Bolt.diy. And try it!!

No, Api key need charge free to use ><

Bolt.diy Interface

Now i try to use OpenAI GPT 4o Model. It seems working now

Bolt.diy Interface

Thanks for reading!

Gemini Code Assist: Trợ thủ AI lập trình miễn phí cho mọi người

Posted on by Quynh Nga


Xin chào, tôi là Quỳnh Nga, đến từ công ty Scuti JSC!

Bạn đã bao giờ cảm thấy mệt mỏi với việc viết code, debug, hay tìm kiếm giải pháp cho những vấn đề lặp đi lặp lại? Bạn ước có một “trợ lý ảo” thông minh giúp bạn giải quyết những công việc tốn thời gian đó? Nếu câu trả lời là “có”, thì Gemini Code Assist chính là giải pháp dành cho bạn! Gemini Code Assist, một sản phẩm của Google, là công cụ hỗ trợ lập trình bằng trí tuệ nhân tạo (AI), giúp bạn tăng tốc độ viết code, nâng cao chất lượng code và tập trung vào những công việc sáng tạo hơn. 

Điểm đặc biệt là Gemini Code Assist có phiên bản miễn phí với giới hạn sử dụng cực kỳ hào phóng, giúp mọi người, từ sinh viên, người mới bắt đầu, đến các lập trình viên chuyên nghiệp, đều có thể tiếp cận công nghệ AI tiên tiến này. Trong bài viết này, chúng ta sẽ cùng khám phá Gemini Code Assist là gì, những tính năng tuyệt vời của nó, và cách nó khác biệt so với các công cụ tương tự.

Gemini Code Assist: Trợ thủ AI đắc lực cho lập trình viên

Gemini Code Assist là gì?

Gemini Code Assist là một công cụ hỗ trợ lập trình dựa trên trí tuệ nhân tạo (AI) do Google phát triển. Nó hoạt động như một “trợ lý ảo” thông minh, giúp bạn viết code nhanh hơn, hiệu quả hơn và ít lỗi hơn. Gemini Code Assist được tích hợp trực tiếp vào các môi trường phát triển tích hợp (IDE) phổ biến như Visual Studio Code và các IDE của JetBrains (IntelliJ, PyCharm, GoLand, WebStorm,…), Cloud Workstations, và Cloud Shell Editor, giúp bạn sử dụng một cách thuận tiện mà không cần chuyển đổi giữa các ứng dụng. 

Gemini Code Assist sử dụng các mô hình ngôn ngữ lớn (LLMs) từ Google, cụ thể là Gemini 2.0 và Gemini 1.5 Pro (cho các tính năng cao cấp), được tinh chỉnh với hàng tỷ dòng code nguồn mở, dữ liệu bảo mật, tài liệu và code mẫu của Google Cloud. Điều này cho phép Gemini Code Assist cung cấp các đề xuất code, hoàn thành code, tạo code và hỗ trợ trò chuyện chất lượng cao, phù hợp với ngữ cảnh của dự án của bạn. Gemini Code Assist không chỉ đơn thuần là một công cụ tự động hoàn thành code, mà còn là một người bạn đồng hành, giúp bạn giải quyết các vấn đề phức tạp, tìm hiểu các khái niệm mới và nâng cao kỹ năng lập trình của mình.

Dark-themed code editor with highlighted lines. Two inset panels show illustrated people working on laptops, one with a hijab. A sparkling icon is centered below.

                                                                Nguồn: https://blog.google/technology/developers/gemini-code-assist-free/

Điểm nổi bật của Gemini Code Assist

Gemini Code Assist được trang bị những tính năng mạnh mẽ, giúp bạn nâng cao hiệu suất làm việc đáng kể:

  • Hoàn thành code tự động (Code Completion): Gemini Code Assist có khả năng tự động hoàn thành các dòng code, gợi ý các đoạn code phù hợp với ngữ cảnh, giúp bạn tiết kiệm thời gian và giảm thiểu lỗi chính tả. Ví dụ, khi bạn bắt đầu gõ một câu lệnh như `for (int i = 0; i <`, Gemini Code Assist sẽ hiển thị các gợi ý hoàn thành dựa trên cú pháp của ngôn ngữ lập trình, các biến và hàm đã được định nghĩa, và thậm chí cả các thư viện bạn đang sử dụng.
  • Sinh code (Code Generation): Bạn chỉ cần mô tả chức năng mong muốn bằng ngôn ngữ tự nhiên, Gemini Code Assist sẽ tự động tạo ra các đoạn code hoặc thậm chí toàn bộ hàm (function) tương ứng. Ví dụ, bạn có thể yêu cầu Gemini Code Assist “Viết một hàm Python để tính giai thừa của một số nguyên, sử dụng đệ quy” và nó sẽ tạo ra code hoàn chỉnh cho bạn.
  • Hỗ trợ trò chuyện (Chat): Gemini Code Assist có một giao diện trò chuyện, cho phép bạn đặt câu hỏi về code, tìm kiếm giải pháp, và nhận hướng dẫn về các phương pháp lập trình tốt nhất. Bạn có thể hỏi Gemini Code Assist “Làm thế nào để sắp xếp một danh sách trong Python?” hoặc “Giải thích sự khác biệt giữa `ArrayList` và `LinkedList` trong Java?”. Giao diện trò chuyện này tích hợp trực tiếp trong IDE.
  • Tùy chỉnh code (Code Customization): (Chỉ có ở phiên bản Enterprise) Gemini Code Assist có thể được tùy chỉnh để phù hợp với các quy tắc và phong cách code riêng của tổ chức bạn, dựa trên các kho code (codebase) riêng tư. Điều này đảm bảo rằng các gợi ý code không chỉ chính xác về mặt cú pháp mà còn tuân thủ các tiêu chuẩn của nhóm bạn. Gemini Code Assist sẽ đọc file `.gemini/styleguide.md` trong repository của bạn để hiểu các hướng dẫn về style code.
  • Nhận biết ngữ cảnh code cục bộ (Local Codebase Awareness): Gemini Code Assist có thể hiểu ngữ cảnh của toàn bộ dự án của bạn, giúp đưa ra các gợi ý và đề xuất chính xác hơn. Nó không chỉ xem xét code trong file hiện tại mà còn phân tích các file liên quan, các thư viện được sử dụng, và cấu trúc tổng thể của dự án. Tính năng này được hỗ trợ bởi mô hình Gemini 1.5 Pro, cho phép xử lý lượng lớn thông tin (lên đến 128.000 token đầu vào trong chat), giúp Gemini hiểu rõ hơn về codebase của bạn.
  • Hỗ trợ đa ngôn ngữ lập trình: Gemini Code Assist hỗ trợ nhiều ngôn ngữ lập trình phổ biến như Java, JavaScript, Python, C, C++, Go, PHP, và SQL. Điều này giúp bạn sử dụng Gemini Code Assist trong nhiều dự án khác nhau mà không cần phải thay đổi công cụ.
  • Tích hợp với GitHub: Gemini Code Assist for GitHub cung cấp các tính năng hỗ trợ review code, tóm tắt pull request, và đề xuất các thay đổi code, giúp quá trình phát triển phần mềm cộng tác trở nên dễ dàng hơn. Gemini Code Assist sẽ tự động được thêm làm reviewer cho pull request.

Gemini Code Assist khác biệt như thế nào?

So với các công cụ hỗ trợ lập trình AI khác, Gemini Code Assist có những điểm khác biệt sau:

  • Phiên bản miễn phí hào phóng: Gemini Code Assist cung cấp phiên bản miễn phí với giới hạn sử dụng rất cao (lên đến 180.000 lần hoàn thành code mỗi tháng), vượt trội hơn hẳn so với các công cụ tương tự khác thường chỉ cung cấp khoảng 2.000 lần hoàn thành code mỗi tháng. Điều này cho phép các lập trình viên cá nhân, sinh viên, và những người mới bắt đầu có thể thoải mái sử dụng Gemini Code Assist mà không lo bị giới hạn.
  • Được hỗ trợ bởi Gemini 2.0: Phiên bản miễn phí của Gemini Code Assist được hỗ trợ bởi mô hình ngôn ngữ Gemini 2.0, đã được tinh chỉnh đặc biệt cho các tác vụ lập trình. Mô hình này được huấn luyện trên một lượng lớn dữ liệu code, giúp nó hiểu rõ cú pháp, ngữ nghĩa và các mẫu code phổ biến trong nhiều ngôn ngữ lập trình.
  • Tích hợp sâu với hệ sinh thái Google Cloud: Gemini Code Assist được tích hợp với nhiều dịch vụ của Google Cloud như Firebase, BigQuery, Apigee, và Application Integration, giúp bạn tận dụng tối đa sức mạnh của nền tảng đám mây này. Ví dụ, bạn có thể sử dụng Gemini Code Assist để tạo các truy vấn SQL cho BigQuery, xây dựng API với Apigee, hoặc tự động hóa các quy trình làm việc với Application Integration.
  • Bảo mật và quyền riêng tư cấp doanh nghiệp: Gemini Code Assist tuân thủ các chính sách bảo mật dữ liệu nghiêm ngặt của Google, đảm bảo an toàn cho code và dữ liệu của bạn. Dữ liệu của bạn sẽ không được sử dụng để huấn luyện các mô hình chung, và bạn có toàn quyền kiểm soát dữ liệu và IP của mình.

Các tính năng chính của Gemini Code Assist

Hỗ trợ viết code và trò chuyện

  • Hoàn thành và tạo code: Gemini Code Assist cung cấp tính năng hoàn thành code tự động và tạo code theo yêu cầu trong các IDE phổ biến. Bạn có thể nhận được các gợi ý code khi đang gõ, hoặc yêu cầu Gemini Code Assist tạo code dựa trên mô tả bằng ngôn ngữ tự nhiên. Ví dụ, bạn có thể viết một comment như “// Tạo hàm kiểm tra số nguyên tố” và Gemini Code Assist sẽ tạo ra hàm tương ứng. Hoặc bạn có thể yêu cầu “Build me a simple HTML form with fields for name, email, and message, and then add a ‘submit’ button”.
  • Hỗ trợ trò chuyện: Bạn có thể trò chuyện với Gemini Code Assist để được giải đáp các thắc mắc liên quan đến code, tìm kiếm giải pháp cho các vấn đề, hoặc nhận hướng dẫn về các phương pháp lập trình tốt nhất. Giao diện trò chuyện được tích hợp trực tiếp vào IDE, giúp bạn không cần phải chuyển đổi giữa các ứng dụng. Bạn có thể đặt câu hỏi bằng ngôn ngữ tự nhiên, ví dụ: “Làm thế nào để kết nối đến cơ sở dữ liệu MySQL trong Python?”, hoặc “Explain what this Python code snippet does and find any errors”.
  • Hỗ trợ đa IDE: Gemini Code Assist hỗ trợ nhiều IDE như VS Code, JetBrains IDEs (IntelliJ, PyCharm, GoLand, WebStorm), Cloud Workstations, và Cloud Shell Editor. Điều này cho phép bạn sử dụng Gemini Code Assist trong môi trường phát triển quen thuộc của mình.
  • Smart Actions và Smart Commands: Sử dụng các hành động thông minh (smart actions) và lệnh thông minh (smart commands) để tự động hóa các tác vụ thường gặp trong quá trình phát triển. Ví dụ, bạn có thể chọn một đoạn code và sử dụng smart action “Generate unit tests” để tự động tạo các bài kiểm tra đơn vị. Hoặc bạn có thể sử dụng smart command “/explain” để yêu cầu Gemini Code Assist giải thích một đoạn code phức tạp.

Hỗ trợ phát triển API (Gemini in Apigee)

  • Tạo API: Gemini Code Assist trong Apigee giúp bạn tạo API một cách nhanh chóng và dễ dàng, ngay cả khi bạn không phải là chuyên gia về API. Bạn có thể mô tả API mong muốn bằng ngôn ngữ tự nhiên, và Gemini Code Assist sẽ tạo ra đặc tả API (API specification) phù hợp với các tiêu chuẩn của doanh nghiệp. Nó cũng xem xét các yếu tố như lược đồ bảo mật (security schemas) và các đối tượng API (API objects) trong API Hub để đưa ra các đề xuất phù hợp. Ví dụ, bạn có thể yêu cầu: “Tạo API để quản lý thông tin người dùng, bao gồm các thao tác tạo, đọc, cập nhật và xóa người dùng”. (Tính năng này đang trong giai đoạn Preview)
  • Tìm kiếm thông minh: Tính năng Smart Search trong API Hub, được hỗ trợ bởi Vertex AI, giúp bạn tìm kiếm API một cách hiệu quả hơn. Bạn có thể tìm kiếm API dựa trên các thuộc tính, chức năng, hoặc thậm chí cả các đoạn code liên quan. (Tính năng này đã khả dụng rộng rãi – GA)
  • Giải thích code: Gemini Code Assist có thể giải thích code cho các chính sách Apigee (Apigee policies), giúp bạn hiểu rõ hơn về cách các chính sách này hoạt động và cách chúng tương tác với API của bạn. (Tính năng này đang trong giai đoạn Preview)

Tích hợp ứng dụng (Gemini in Application Integration)

  • Tạo luồng tự động hóa: Gemini Code Assist trong Application Integration giúp bạn xây dựng các luồng tự động hóa (automation flows) một cách dễ dàng. Bạn có thể mô tả quy trình làm việc mong muốn bằng ngôn ngữ tự nhiên, và Gemini Code Assist sẽ đề xuất các luồng phù hợp. Ví dụ, bạn có thể yêu cầu: “Tạo luồng tự động hóa để gửi email thông báo cho khách hàng khi trạng thái đơn hàng của họ thay đổi”. Nó cũng có thể tự động tạo các biến (variables) và cấu hình trước các tác vụ (tasks), giúp bạn tiết kiệm thời gian và công sức.
  • Tùy chỉnh theo ngữ cảnh: Gemini Code Assist đưa ra các đề xuất dựa trên ngữ cảnh của doanh nghiệp, bao gồm các API, ứng dụng và tài sản hiện có. Điều này đảm bảo rằng các luồng tự động hóa được tạo ra phù hợp với nhu cầu cụ thể của bạn.
  • Tạo tài liệu: Gemini Code Assist có thể tự động tạo tài liệu cho các luồng tự động hóa, giúp bạn dễ dàng theo dõi và quản lý các quy trình của mình.

Phân tích dữ liệu (Gemini in BigQuery)

  • Hỗ trợ SQL: Gemini Code Assist trong BigQuery Studio cung cấp các tính năng hỗ trợ viết code SQL, bao gồm:
    • Tạo code SQL (generation): Bạn có thể mô tả truy vấn mong muốn bằng ngôn ngữ tự nhiên, và Gemini Code Assist sẽ tạo ra câu lệnh SQL tương ứng. Ví dụ: “Cho tôi biết tổng doanh thu theo sản phẩm trong tháng trước”.
    • Hoàn thành code SQL (completion): Khi bạn đang viết code SQL, Gemini Code Assist sẽ đưa ra các gợi ý hoàn thành dựa trên ngữ cảnh của câu lệnh.
    • Giải thích code SQL (explanation): Gemini Code Assist có thể giải thích ý nghĩa của các câu lệnh SQL phức tạp, giúp bạn hiểu rõ hơn về cách chúng hoạt động.
  • Hỗ trợ Python: Ngoài SQL, Gemini Code Assist trong BigQuery Studio cũng hỗ trợ tạo và hoàn thành code Python, giúp bạn thực hiện các tác vụ phân tích dữ liệu nâng cao.
  • Data Canvas: Data Canvas là một giao diện trực quan cho phép bạn khám phá, chuyển đổi và trực quan hóa dữ liệu trong BigQuery bằng cách sử dụng ngôn ngữ tự nhiên. Bạn có thể đặt câu hỏi về dữ liệu của mình, và Data Canvas sẽ tạo ra các truy vấn và biểu đồ tương ứng. Ví dụ: “Hiển thị biểu đồ cột về doanh số bán hàng theo khu vực”.
  • Data Insights: Data Insights cung cấp một thư viện các câu hỏi SQL được xác thực trước, giúp bạn nhanh chóng khám phá các thông tin chi tiết từ dữ liệu của mình.

Hỗ trợ trong Colab Enterprise

  • Hỗ trợ code trong Notebook: Gemini Code Assist trong Colab Enterprise cung cấp các tính năng hỗ trợ viết code Python trong các notebook. Bạn có thể sử dụng tính năng hoàn thành code tự động và tạo code bằng ngôn ngữ tự nhiên để tăng tốc độ phát triển và giảm thiểu lỗi. Ví dụ, bạn có thể viết “// Tạo một biểu đồ phân tán từ dữ liệu trong dataframe df” và Gemini Code Assist sẽ tạo ra code Python tương ứng sử dụng thư viện như matplotlib hoặc seaborn.

Hỗ trợ trong cơ sở dữ liệu (Gemini in Databases)

  • Tạo truy vấn SQL: Tạo câu lệnh SQL bằng cách viết bằng ngôn ngữ tự nhiên. Ví dụ, bạn có thể viết “Hiển thị cho tôi 10 khách hàng chi tiêu nhiều nhất trong năm 2023” và Gemini sẽ tạo ra câu lệnh SQL tương ứng.
  • Code theo ngữ cảnh: Nhận code theo ngữ cảnh hoạt động với lược đồ của bạn. Gemini sẽ xem xét cấu trúc bảng, kiểu dữ liệu và các ràng buộc để tạo ra code chính xác.
  • Tối ưu hóa và giải thích: Tối ưu hóa và giải thích các truy vấn hiện có. Gemini có thể phân tích các truy vấn SQL hiện có và đề xuất các cải tiến để tăng hiệu suất, đồng thời giải thích ý nghĩa của các câu lệnh SQL phức tạp. Ví dụ, nó có thể gợi ý thêm chỉ mục (index) vào một cột thường xuyên được sử dụng trong mệnh đề WHERE.

Hỗ trợ phát triển ứng dụng (Gemini in Firebase)

  • Hỗ trợ code: Tạo, chỉnh sửa và debug code mẫu cho Firebase bằng ngôn ngữ tự nhiên. Bạn có thể yêu cầu Gemini Code Assist tạo code để thực hiện các tác vụ phổ biến như xác thực người dùng, lưu trữ dữ liệu, hoặc gửi thông báo đẩy. Ví dụ: “Tạo code Javascript để xác thực người dùng bằng email và mật khẩu sử dụng Firebase Authentication”.
  • Giải thích code: Sử dụng ngôn ngữ tự nhiên để giải thích, tạo và chuyển đổi code trong bảng điều khiển Gemini.
  • Kiến thức chuyên sâu: Sử dụng kiến thức chuyên sâu, các phương pháp hay nhất và chuyên môn khắc phục sự cố cho các sản phẩm và dịch vụ của Firebase. Bạn có thể hỏi Gemini Code Assist về các vấn đề liên quan đến Firebase, và nó sẽ cung cấp các giải pháp và hướng dẫn dựa trên tài liệu chính thức và các phương pháp tốt nhất. Ví dụ: “Làm thế nào để cấu hình Firebase Realtime Database để chỉ cho phép người dùng đã xác thực truy cập dữ liệu?”.
  • Phân tích chất lượng ứng dụng: Gemini in Firebase có thể tóm tắt các sự cố ứng dụng (app crashes) và cung cấp thông tin chi tiết cũng như các bước khắc phục sự cố, giúp bạn nhanh chóng xác định và giải quyết các vấn đề về chất lượng ứng dụng.
  • Nhận biết ngữ cảnh: Sử dụng ngữ cảnh dự án và ứng dụng để hướng dẫn hỗ trợ trò chuyện, khắc phục sự cố và phân tích chất lượng ứng dụng. Gemini Code Assist sẽ xem xét các thông tin về dự án Firebase của bạn, chẳng hạn như các dịch vụ đang được sử dụng, cấu hình bảo mật, và dữ liệu người dùng, để đưa ra các đề xuất phù hợp.

Tùy chỉnh code (Chỉ có ở phiên bản Enterprise)

  • Tùy chỉnh gợi ý: Tùy chỉnh Gemini Code Assist bằng cách sử dụng các codebase riêng tư của tổ chức bạn để có hỗ trợ phù hợp hơn. Bạn có thể kết nối Gemini Code Assist với các kho code của mình trên GitHub và GitLab, và nó sẽ học hỏi từ code của bạn để đưa ra các gợi ý chính xác và phù hợp hơn. Gemini Code Assist sẽ phân tích code của bạn, bao gồm cả cấu trúc, phong cách và các thư viện được sử dụng, để đưa ra các đề xuất phù hợp với ngữ cảnh của dự án.
  • Style guide: Bạn có thể cung cấp cho Gemini Code Assist một style guide (hướng dẫn phong cách code) để đảm bảo rằng code được tạo ra tuân thủ các quy tắc của tổ chức bạn. Style guide này có thể được định nghĩa trong file `.gemini/styleguide.md` trong repository của bạn.
  • Ví dụ: Nếu codebase của bạn sử dụng một thư viện nội bộ để xử lý các yêu cầu mạng, Gemini Code Assist có thể học cách sử dụng thư viện này và đưa ra các gợi ý sử dụng nó khi bạn viết code liên quan đến mạng.

Bảo mật, quyền riêng tư và tuân thủ

  • Trích dẫn nguồn: Gemini Code Assist cung cấp thông tin trích dẫn nguồn khi trích dẫn trực tiếp từ một nguồn khác, giúp bạn tuân thủ các yêu cầu về bản quyền và giấy phép. Khi Gemini Code Assist tạo ra code dựa trên một nguồn cụ thể, nó sẽ cung cấp thông tin về nguồn gốc của code đó, chẳng hạn như URL của kho lưu trữ GitHub hoặc tên của một cuốn sách hoặc bài báo.
  • Bồi thường IP: Chính sách bồi thường IP của Google giúp bảo vệ người dùng Gemini Code Assist khỏi các vấn đề pháp lý tiềm ẩn liên quan đến vi phạm bản quyền. Google sẽ chịu trách nhiệm pháp lý trong trường hợp code do Gemini Code Assist tạo ra vi phạm bản quyền của bên thứ ba.
  • VPC-SC và Private Google Access: Gemini Code Assist hỗ trợ các tính năng bảo mật như VPC Service Controls (VPC-SC) và Private Google Access, giúp bạn kiểm soát quyền truy cập vào dữ liệu và tài nguyên của mình. VPC-SC cho phép bạn tạo một vành đai bảo mật xung quanh các dịch vụ Google Cloud của mình, trong khi Private Google Access cho phép bạn truy cập các dịch vụ Google Cloud từ các máy ảo (VMs) không có địa chỉ IP công cộng.
  • Tuân thủ: Gemini Code Assist đã đạt được nhiều chứng chỉ ngành như SOC 1/2/3, ISO/IEC 27001 (Bảo mật thông tin), 27017 (Bảo mật đám mây), 27018 (Bảo vệ PII) và 27701 (Quản lý thông tin riêng tư). Thông tin chi tiết tại: Certifications and security for Gemini.

So sánh Gemini Code Assist Standard và Enterprise

Bảng dưới đây so sánh các tính năng chính giữa hai phiên bản Gemini Code Assist Standard và Enterprise:

Tính năngStandardEnterpriseMô tả
Hoàn thành code tự độngCóCóTự động hoàn thành các dòng code, gợi ý các đoạn code phù hợp.
Sinh codeCóCóTạo code dựa trên mô tả bằng ngôn ngữ tự nhiên.
Hỗ trợ trò chuyệnCóCóĐặt câu hỏi và nhận hướng dẫn về code.
Tùy chỉnh codeKhôngCóTùy chỉnh theo quy tắc và phong cách code của tổ chức.
Nhận biết ngữ cảnh code cục bộCóCóHiểu ngữ cảnh toàn bộ dự án.
Hỗ trợ đa ngôn ngữCóCóHỗ trợ Java, JavaScript, Python, C, C++, Go, PHP, SQL và các ngôn ngữ khác.
Tích hợp GitHubCóCóHỗ trợ review code, tóm tắt pull request.
Hỗ trợ ApigeeKhôngCóHỗ trợ tạo và quản lý API.
Hỗ trợ Application IntegrationKhôngCóHỗ trợ tạo luồng tự động hóa.
Hỗ trợ BigQueryKhôngCóHỗ trợ viết và phân tích code SQL và Python.
Hỗ trợ Colab EnterpriseCóCóHỗ trợ code trong notebook.
Hỗ trợ DatabasesCóCóHỗ trợ tạo và tối ưu hóa truy vấn SQL.
Hỗ trợ FirebaseCóCóHỗ trợ phát triển ứng dụng Firebase.

Cách thiết lập và sử dụng Gemini Code Assist

Để bắt đầu sử dụng Gemini Code Assist, bạn cần thực hiện các bước sau:

  1. Thiết lập dự án Google Cloud: Bạn cần có một dự án Google Cloud để sử dụng Gemini Code Assist. Nếu bạn chưa có, hãy tạo một dự án mới.
  2. Kích hoạt Gemini Code Assist: Kích hoạt Gemini Code Assist cho dự án của bạn. Bạn có thể thực hiện việc này trong bảng điều khiển Google Cloud.
  3. Cài đặt tiện ích mở rộng: Cài đặt tiện ích mở rộng Gemini Code Assist cho IDE của bạn. Bạn có thể tìm thấy tiện ích mở rộng này trên marketplace của VS Code hoặc JetBrains.
  4. Kết nối với Google Cloud: Kết nối IDE của bạn với Google Cloud. Bạn sẽ cần đăng nhập bằng tài khoản Google của mình và chọn dự án Google Cloud mà bạn muốn sử dụng.

Chi tiết các bước thiết lập có thể xem tại Set up Gemini Code Assist.

Kết luận

Gemini Code Assist là một công cụ hỗ trợ lập trình AI mạnh mẽ, giúp bạn tăng tốc độ viết code, nâng cao chất lượng code và tập trung vào những công việc sáng tạo hơn. Với phiên bản miễn phí hào phóng và các tính năng tiên tiến, Gemini Code Assist là một lựa chọn tuyệt vời cho mọi lập trình viên, từ người mới bắt đầu đến chuyên gia. Gemini Code Assist không chỉ giúp bạn viết code nhanh hơn mà còn giúp bạn học hỏi và phát triển kỹ năng lập trình của mình. Nó cung cấp các giải thích code, gợi ý các phương pháp hay nhất, và giúp bạn tìm ra các lỗi sai tiềm ẩn. Hãy thử Gemini Code Assist ngay hôm nay để trải nghiệm sức mạnh của AI trong quá trình phát triển phần mềm của bạn và khám phá tiềm năng của công cụ hỗ trợ lập trình tiên tiến này!

Claude 3.7 Sonnet & Claude Code: AI Vượt Trội Cho Mọi Tác Vụ

Posted on by An Ha

 


Bạn đang tìm kiếm một mô hình AI mạnh mẽ, linh hoạt, có khả năng xử lý ngôn ngữ tự nhiên và mã hóa một cách hiệu quả? Claude 3.7 Sonnet và Claude Code chính là những gì bạn cần. Với khả năng suy luận mở rộng, xử lý khối lượng lớn dữ liệu và viết mã chuyên nghiệp, Claude 3.7 Sonnet và Claude Code mang đến trải nghiệm vượt trội so với các công cụ AI khác. Trong bài viết này, chúng ta sẽ cùng nhau khám phá những tính năng và ưu điểm nổi bật của chúng, từ những khái niệm cơ bản đến các ứng dụng chuyên sâu.

Claude 3.7 Sonnet & Code: Định Nghĩa Lại Trí Tuệ Nhân Tạo

Claude 3.7 Sonnet và Claude Code là gì?

Claude 3.7 Sonnet là mô hình ngôn ngữ lớn tiên tiến của Anthropic, được thiết kế để mang lại hiệu suất cao trong nhiều tác vụ, từ sáng tạo nội dung đến phân tích dữ liệu. Claude Code, một phần mở rộng của Sonnet, tập trung vào khả năng viết và phân tích mã, hỗ trợ đắc lực cho các nhà phát triển phần mềm. Cả hai mô hình đều được xây dựng dựa trên kiến trúc tiên tiến, cho phép xử lý thông tin hiệu quả và đưa ra kết quả chính xác. Claude 3.7 Sonnet được tối ưu hóa để mang lại sự cân bằng giữa hiệu suất và chi phí, phù hợp với nhiều ứng dụng khác nhau. Claude Code, với khả năng làm việc với nhiều ngôn ngữ lập trình, giúp đơn giản hóa quá trình phát triển phần mềm. Kiến trúc của Claude 3.7 Sonnet bao gồm một mạng lưới các lớp biến đổi (transformer layers) được tối ưu hóa để xử lý các chuỗi văn bản dài. Mô hình này cũng được huấn luyện trên một tập dữ liệu lớn và đa dạng, giúp nó có khả năng hiểu và tạo ra văn bản tự nhiên hơn.

Điều gì làm nên sự khác biệt của Claude 3.7 Sonnet & Claude Code?

Claude 3.7 Sonnet & Code nổi bật với khả năng suy luận mở rộng, cho phép xử lý các tác vụ phức tạp đòi hỏi nhiều bước suy luận. Mô hình này cũng có khả năng xử lý khối lượng lớn dữ liệu, giúp trích xuất thông tin và tạo ra các phân tích sâu sắc. Đặc biệt, Claude Code được trang bị các công cụ và API mạnh mẽ, hỗ trợ viết mã nhanh chóng và hiệu quả. So với các mô hình AI khác, Claude 3.7 Sonnet & Code có khả năng xử lý các tác vụ phức tạp với độ chính xác cao hơn, đồng thời đảm bảo tính an toàn và minh bạch. Một trong những điểm khác biệt lớn nhất của Claude 3.7 Sonnet là khả năng xử lý các tác vụ suy luận phức tạp. Mô hình này có thể chia nhỏ các vấn đề lớn thành các bước nhỏ hơn, dễ quản lý hơn, giúp nó đưa ra các giải pháp chính xác và hiệu quả hơn.

Khám Phá Sức Mạnh Suy Luận Mở Rộng của Claude 3.7 Sonnet

Suy luận mở rộng là gì và tại sao nó quan trọng?

Suy luận mở rộng là khả năng của mô hình AI trong việc xử lý các tác vụ đòi hỏi nhiều bước suy luận, từ việc hiểu các khái niệm phức tạp đến việc giải quyết các vấn đề logic. Khả năng này giúp Claude 3.7 Sonnet vượt trội trong các tác vụ như phân tích dữ liệu, giải quyết vấn đề và sáng tạo nội dung. So với các mô hình AI khác, Claude 3.7 Sonnet có khả năng suy luận sâu sắc hơn, cho phép xử lý các tác vụ phức tạp với độ chính xác cao hơn. Suy luận mở rộng cho phép Claude 3.7 Sonnet xử lý các tác vụ đòi hỏi khả năng lập kế hoạch và suy luận đa bước. Ví dụ, mô hình này có thể được sử dụng để tạo ra các kế hoạch chi tiết cho các dự án phức tạp hoặc để giải quyết các vấn đề logic đòi hỏi nhiều bước suy luận.

Ứng dụng của suy luận mở rộng trong thực tế

Khả năng suy luận mở rộng của Claude 3.7 Sonnet có thể được ứng dụng trong nhiều lĩnh vực, từ nghiên cứu khoa học đến phát triển sản phẩm. Ví dụ, trong lĩnh vực nghiên cứu, mô hình này có thể giúp phân tích các tập dữ liệu phức tạp và đưa ra các giả thuyết mới. Trong lĩnh vực phát triển sản phẩm, nó có thể giúp tạo ra các thiết kế sáng tạo và tối ưu hóa quy trình sản xuất. Claude 3.7 Sonnet cũng có thể được sử dụng để tạo ra các báo cáo phân tích chi tiết, giúp các doanh nghiệp đưa ra quyết định thông minh hơn. Ngoài ra, Claude 3.7 Sonnet cũng có thể được sử dụng để tạo ra các nội dung sáng tạo, chẳng hạn như thơ ca, truyện ngắn hoặc kịch bản phim.

Claude Code: Công Cụ Đắc Lực Cho Nhà Phát Triển

Tổng quan về Claude Code và các tính năng nổi bật

Claude Code là một bộ công cụ và API mạnh mẽ, được thiết kế để hỗ trợ các nhà phát triển phần mềm trong việc viết và phân tích mã. Mô hình này có khả năng hiểu và tạo ra mã trong nhiều ngôn ngữ lập trình, từ Python đến JavaScript. Claude Code cũng được trang bị các công cụ gỡ lỗi và kiểm tra mã, giúp giảm thiểu lỗi và tăng tốc quá trình phát triển. Với Claude Code, các nhà phát triển có thể dễ dàng tạo ra các ứng dụng phức tạp và tối ưu hóa hiệu suất của chúng. Claude Code được xây dựng dựa trên kiến trúc tương tự như Claude 3.7 Sonnet, nhưng được tối ưu hóa cho các tác vụ liên quan đến mã. Mô hình này được huấn luyện trên một tập dữ liệu lớn các đoạn mã từ nhiều ngôn ngữ lập trình khác nhau, giúp nó có khả năng hiểu và tạo ra mã chính xác và hiệu quả.

Hướng dẫn sử dụng Claude Code cho các tác vụ lập trình

Để sử dụng Claude Code, bạn có thể truy cập vào tài liệu hướng dẫn chi tiết trên trang web của Anthropic. Tài liệu này cung cấp các ví dụ mã và hướng dẫn từng bước, giúp bạn làm quen với các tính năng của Claude Code. Bạn cũng có thể sử dụng API của Claude Code để tích hợp mô hình này vào các ứng dụng của mình. Claude Code hỗ trợ nhiều tác vụ lập trình khác nhau, từ việc tạo ra các đoạn mã cơ bản đến việc phân tích và tối ưu hóa mã phức tạp. Ví dụ, bạn có thể sử dụng Claude Code để tạo ra các đoạn mã cho các chức năng thường dùng, hoặc để phân tích mã của bạn và tìm ra các lỗi tiềm ẩn.

Claude 3.7 Sonnet: Hiệu Suất Vượt Trội Trong Mọi Tác Vụ

Hiệu suất của Claude 3.7 Sonnet trong các tác vụ khác nhau

Claude 3.7 Sonnet đã được thử nghiệm và chứng minh hiệu suất vượt trội trong nhiều tác vụ, từ sáng tạo nội dung đến phân tích dữ liệu. Mô hình này có khả năng tạo ra các văn bản mạch lạc và hấp dẫn, đồng thời đưa ra các phân tích chính xác và sâu sắc. So với các mô hình AI khác, Claude 3.7 Sonnet có khả năng xử lý các tác vụ phức tạp với độ chính xác cao hơn, đồng thời đảm bảo tính an toàn và minh bạch. Claude 3.7 Sonnet cũng có khả năng xử lý các chuỗi văn bản dài hơn so với các mô hình AI khác, giúp nó có thể xử lý các tài liệu phức tạp và chi tiết hơn.

So sánh Claude 3.7 Sonnet với các mô hình AI khác

So với các mô hình AI khác, Claude 3.7 Sonnet nổi bật với khả năng suy luận mở rộng và xử lý khối lượng lớn dữ liệu. Mô hình này cũng được thiết kế để đảm bảo tính an toàn và minh bạch, giúp người dùng yên tâm khi sử dụng. Claude 3.7 Sonnet cũng có khả năng tùy biến cao, cho phép người dùng điều chỉnh mô hình để phù hợp với các nhu cầu cụ thể của họ. So với các mô hình AI khác, Claude 3.7 Sonnet có khả năng xử lý các tác vụ phức tạp với độ chính xác cao hơn, đồng thời đảm bảo tính an toàn và minh bạch. Claude 3.7 Sonnet cũng có khả năng xử lý các chuỗi văn bản dài hơn so với các mô hình AI khác, giúp nó có thể xử lý các tài liệu phức tạp và chi tiết hơn.

Kết Luận

Claude 3.7 Sonnet và Claude Code là những công cụ AI mạnh mẽ và linh hoạt, có khả năng đáp ứng nhiều nhu cầu khác nhau của người dùng. Với khả năng suy luận mở rộng, xử lý khối lượng lớn dữ liệu và viết mã chuyên nghiệp, Claude 3.7 Sonnet và Claude Code hứa hẹn sẽ mang lại những đột phá lớn trong nhiều lĩnh vực.

GitHub Copilot và Cursor AI: Đâu Là Trợ Lý Lập Trình AI Tốt Nhất 2025?

Posted on by Chu Vụ
GitHub Copilot và Cursor AI
GitHub Copilot và Cursor AI

Trong giới lập trình ngày nay, trí tuệ nhân tạo (AI) đang dần trở thành người bạn đồng hành đáng tin cậy của các nhà phát triển. Hai trong số những trợ lý lập trình AI nổi bật hiện nay là GitHub Copilot và Cursor AI. Mỗi công cụ mang đến những trải nghiệm độc đáo, hỗ trợ lập trình viên viết mã hiệu quả và sáng tạo hơn. Hãy cùng khám phá và so sánh chi tiết hai trợ lý này để tìm ra lựa chọn phù hợp nhất cho bạn.

Sự phát triển của AI đã mở ra những chân trời mới trong lĩnh vực lập trình. Từ việc tự động hoàn thành mã đến gợi ý cấu trúc phức tạp, AI đang giúp lập trình viên tiết kiệm thời gian và giảm thiểu sai sót. Trong bối cảnh đó, GitHub Copilot và Cursor AI xuất hiện như những giải pháp hàng đầu, mang đến những tính năng hỗ trợ mạnh mẽ và linh hoạt.

Tổng quan về GitHub Copilot

Github Copilot
Github Copilot

  • Lịch sử phát triển và nhà phát triển

    GitHub Copilot là sản phẩm hợp tác giữa GitHub và OpenAI, ra mắt vào năm 2021. Với sự kết hợp giữa kho mã nguồn phong phú của GitHub và mô hình ngôn ngữ tiên tiến của OpenAI, Copilot nhanh chóng trở thành công cụ hỗ trợ đắc lực cho lập trình viên.

  • Các tính năng chính

    • Hoàn thành mã tự động: Copilot cung cấp gợi ý mã theo ngữ cảnh, giúp lập trình viên viết mã nhanh chóng và chính xác.

    • Hỗ trợ đa ngôn ngữ lập trình: Từ Python, JavaScript đến Ruby và Go, Copilot đáp ứng nhu cầu của nhiều lập trình viên với đa dạng ngôn ngữ.

    • Tích hợp sâu với Visual Studio Code: Copilot hoạt động mượt mà trong môi trường Visual Studio Code, mang lại trải nghiệm liền mạch cho người dùng.

  • Ưu điểm

    • Gợi ý mã chính xác và phù hợp ngữ cảnh: Dựa trên ngữ cảnh hiện tại, Copilot đưa ra các gợi ý mã phù hợp, giúp tiết kiệm thời gian và công sức.

    • Học hỏi từ cộng đồng mã nguồn mở: Với quyền truy cập vào kho mã nguồn mở khổng lồ trên GitHub, Copilot liên tục cập nhật và cải thiện khả năng gợi ý.

  • Nhược điểm

    • Gợi ý đôi khi không chính xác: Mặc dù mạnh mẽ, nhưng đôi khi Copilot có thể đưa ra các gợi ý không phù hợp hoặc lỗi thời.

    • Vấn đề về bảo mật và bản quyền: Sử dụng mã gợi ý từ Copilot có thể dẫn đến lo ngại về bản quyền và bảo mật, đặc biệt khi mã được lấy từ các nguồn không rõ ràng.

Tổng quan về Cursor AI

Cursor AI
Cursor AI

  • Giới thiệu về công cụ và nhà phát triển

    Cursor AI là một môi trường phát triển tích hợp (IDE) được tăng cường bởi AI, phát triển bởi Anysphere Inc. Được xây dựng dựa trên Visual Studio Code, Cursor mang đến trải nghiệm lập trình mới mẻ với sự hỗ trợ mạnh mẽ từ AI.  Nằm trong top 15 AI dược đề xuất mạnh nhất hiện nay

  • Các tính năng nổi bật

    • Hoàn thành mã đa dòng: Cursor có khả năng gợi ý và hoàn thành nhiều dòng mã cùng lúc, giúp tăng tốc quá trình phát triển.

    • Tạo mã tự động với Composer: Composer của Cursor có thể tạo ra toàn bộ ứng dụng dựa trên mô tả, hỗ trợ nhiều ngôn ngữ lập trình trong cùng một dự án.

    • Chức năng chat nhận biết ngữ cảnh: Tính năng chat của Cursor có khả năng hiểu ngữ cảnh và hỗ trợ cả hình ảnh, giúp lập trình viên dễ dàng tương tác và nhận gợi ý từ AI.

  • Ưu điểm

    • Tích hợp AI sâu sắc: Cursor không chỉ là một công cụ hỗ trợ mà còn là một trình soạn thảo mã với AI tích hợp, mang lại trải nghiệm liền mạch cho người dùng.

    • Khả năng tùy chỉnh cao: Người dùng có thể tùy chỉnh và mở rộng chức năng của Cursor theo nhu cầu cá nhân.

  • Nhược điểm

    • Cộng đồng người dùng còn hạn chế: So với các công cụ khác, Cursor vẫn đang trong giai đoạn phát triển và có cộng đồng người dùng nhỏ hơn.

    • Tài liệu hướng dẫn chưa phong phú: Do mới ra mắt, tài liệu và hướng dẫn sử dụng Cursor có thể chưa đáp ứng đầy đủ nhu cầu của người dùng.

So sánh chi tiết GitHub Copilot và Cursor AI

  • Hiệu suất và độ chính xác

    • GitHub Copilot: Được phát triển bởi GitHub và OpenAI, Copilot cung cấp gợi ý mã theo ngữ cảnh, giúp lập trình viên viết mã nhanh chóng và chính xác. Tuy nhiên, đôi khi Copilot có thể đưa ra các gợi ý không phù hợp hoặc lỗi thời.

    • Cursor AI: Là một môi trường phát triển tích hợp (IDE) được tăng cường bởi AI, Cursor cung cấp gợi ý mã chính xác và phù hợp với ngữ cảnh, đặc biệt hữu ích trong việc sửa lỗi và cập nhật API. Tuy nhiên, do còn mới, Cursor có thể gặp phải các gợi ý không chính xác hoặc không đầy đủ.

  • Khả năng tích hợp và hỗ trợ môi trường phát triển

    • GitHub Copilot: Tích hợp sâu với Visual Studio Code và các IDE khác như Neovim và JetBrains, hỗ trợ nhiều ngôn ngữ lập trình phổ biến, mang lại trải nghiệm liền mạch cho người dùng.

    • Cursor AI: Được xây dựng dựa trên Visual Studio Code, Cursor mang đến trải nghiệm lập trình mới mẻ với sự hỗ trợ mạnh mẽ từ AI. Tuy nhiên, do còn mới, khả năng tích hợp của Cursor có thể chưa đa dạng bằng Copilot.

  • Giá cả và mô hình kinh doanh

    • GitHub Copilot: Cung cấp gói dịch vụ với giá 10 USD/tháng hoặc 100 USD/năm cho cá nhân. Các sinh viên và chủ sở hữu dự án mã nguồn mở nổi bật có thể được sử dụng miễn phí.

    • Cursor AI: Hiện tại, Cursor cung cấp phiên bản miễn phí và phiên bản Pro với giá 20 USD/tháng, mang lại hiệu năng và tính năng vượt trội.

Bảng so sánh GitHub Copilot và Cursor AI

Tiêu chí GitHub Copilot Cursor AI
Độ chính xác Gợi ý mã chính xác theo ngữ cảnh, nhưng đôi khi lỗi thời Gợi ý chính xác, hỗ trợ tốt trong sửa lỗi và cập nhật API
Khả năng tích hợp Hỗ trợ Visual Studio Code, Neovim, JetBrains, v.v. Dựa trên Visual Studio Code, nhưng tích hợp chưa đa dạng
Hiệu suất Nhanh, nhưng đôi khi đưa ra mã không tối ưu Gợi ý tối ưu hơn trong một số trường hợp
Ngôn ngữ lập trình Hỗ trợ nhiều ngôn ngữ phổ biến Chủ yếu hỗ trợ JavaScript, Python và một số ngôn ngữ khác
Khả năng tự học Học từ dữ liệu mã nguồn mở trên GitHub Sử dụng AI để học từ code người dùng
Giá cả 10 USD/tháng hoặc 100 USD/năm (miễn phí cho sinh viên, dự án mã nguồn mở) 20 USD/tháng cho bản Pro, có bản miễn phí
Đối tượng phù hợp Lập trình viên muốn một công cụ ổn định, nhiều tính năng Những ai thích thử nghiệm môi trường phát triển mới
Hạn chế Đôi khi gợi ý mã cũ, chưa tối ưu Chưa phổ biến bằng Copilot, có thể gặp lỗi nhỏ

Kết luận

Cả  GitHub Copilot và Cursor AI đều là những trợ lý lập trình AI mạnh mẽ, mang lại nhiều lợi ích cho lập trình viên. Nếu bạn đang tìm kiếm một công cụ đã được kiểm chứng, tích hợp tốt với nhiều IDE và có cộng đồng người dùng rộng rãi, GitHub Copilot là lựa chọn phù hợp. Ngược lại, nếu bạn muốn trải nghiệm một môi trường phát triển tích hợp với AI, cung cấp các tính năng tiên tiến và không ngại thử nghiệm công cụ mới, Cursor AI đáng để xem xét. Việc lựa chọn giữa hai công cụ này phụ thuộc vào nhu cầu cụ thể và ngân sách của bạn.

VideoJAM: Tạo Video Chuyển Động Mượt Mà và Chân Thực (Meta)

Posted on by Trang Nguyen

Bạn có gặp khó khăn trong việc tạo ra các video có chuyển động tự nhiên và chân thực không? Nhiều mô hình AI hiện tại tạo ra video có hình ảnh đẹp nhưng chuyển động lại giật cục, thiếu tự nhiên. VideoJAM của Meta ra đời để giải quyết vấn đề này! VideoJAM là một framework mới giúp các mô hình tạo video không chỉ đẹp mắt mà còn có chuyển động mượt mà, sống động như thật. Trong bài viết này, chúng ta sẽ cùng tìm hiểu VideoJAM là gì, nó hoạt động như thế nào, tại sao nó lại vượt trội hơn so với các phương pháp khác, và tiềm năng ứng dụng của nó.

VideoJAM là gì? Tổng quan về công nghệ

Khái niệm cơ bản về VideoJAM

VideoJAM là một framework được phát triển bởi Meta, được thiết kế để cải thiện khả năng tạo video của các mô hình AI. Điểm đặc biệt của VideoJAM là nó tập trung vào việc tạo ra các chuyển động thực tế và mượt mà, thay vì chỉ tập trung vào chất lượng hình ảnh như các mô hình truyền thống. Điều này đạt được bằng cách kết hợp thông tin về cả hình ảnh và chuyển động trong quá trình huấn luyện và tạo video.

 

Điểm khác biệt của VideoJAM

Các mô hình tạo video trước đây thường chỉ tập trung vào việc tái tạo lại các pixel của video gốc, dẫn đến việc bỏ qua tính logic và tự nhiên của chuyển động. VideoJAM giải quyết vấn đề này bằng cách sử dụng một phương pháp gọi là “biểu diễn kết hợp hình ảnh-chuyển động” (joint appearance-motion representation). Nghĩa là, mô hình học cách liên kết hình ảnh và chuyển động với nhau, từ đó tạo ra các video có chuyển động hợp lý hơn.

Hơn nữa, VideoJAM còn sử dụng một kỹ thuật gọi là Inner-Guidance trong quá trình tạo video, giúp tăng cường tính nhất quán của chuyển động.

Cơ chế hoạt động của VideoJAM

Huấn luyện với biểu diễn kết hợp

Trong giai đoạn huấn luyện, VideoJAM không chỉ học cách tạo ra hình ảnh (appearance) mà còn học cách dự đoán chuyển động (motion) của các đối tượng trong video. Cả hai thông tin này được kết hợp lại thành một “biểu diễn kết hợp”.

Các bước trong quá trình huấn luyện:

  1. Đầu vào: Video đầu vào (x1) và chuyển động tương ứng (d1) được làm nhiễu.
  2. Nhúng: Thông tin hình ảnh và chuyển động đã được làm nhiễu được nhúng vào một không gian biểu diễn chung bằng lớp nhúng tuyến tính Win+.
  3. Mô hình Diffusion: Mô hình diffusion xử lý biểu diễn kết hợp này.
  4. Dự đoán: Hai lớp chiếu tuyến tính (Wout+) dự đoán cả hình ảnh và chuyển động từ biểu diễn kết hợp.

Inner-Guidance: Tự hướng dẫn trong quá trình tạo

Điểm độc đáo của VideoJAM là kỹ thuật Inner-Guidance được sử dụng trong quá trình tạo video (inference). Thay vì dựa vào các yếu tố bên ngoài, VideoJAM sử dụng chính dự đoán chuyển động của nó để hướng dẫn quá trình tạo video.

Các thành phần của Inner-Guidance:

  • Dự đoán chuyển động nhiễu: Mô hình tự dự đoán chuyển động ở mỗi bước tạo video.
  • Hướng dẫn động: Dự đoán chuyển động nhiễu này được sử dụng làm tín hiệu hướng dẫn động, giúp điều chỉnh quá trình tạo video để tạo ra chuyển động mượt mà và nhất quán hơn.

Điều này giúp VideoJAM tạo ra các video có chuyển động phức tạp và tự nhiên hơn so với các mô hình khác.

Kết quả và so sánh với các mô hình khác

Chất lượng chuyển động vượt trội

VideoJAM đã được thử nghiệm và so sánh với các mô hình tạo video hàng đầu hiện nay, bao gồm cả các mô hình độc quyền như Sora, Kling và Runway Gen3. Kết quả cho thấy VideoJAM vượt trội hơn hẳn về khả năng tạo ra các chuyển động thực tế và mượt mà.

Chất lượng hình ảnh được cải thiện

Không chỉ cải thiện chất lượng chuyển động, VideoJAM còn cho thấy sự cải thiện về chất lượng hình ảnh so với mô hình cơ sở (DiT-30B).

VideoJAM-bench: Thử thách về chuyển động

Để đánh giá khả năng của VideoJAM, các nhà nghiên cứu đã tạo ra một bộ dữ liệu thử nghiệm đặc biệt gọi là VideoJAM-bench. Bộ dữ liệu này bao gồm các video có nhiều loại chuyển động phức tạp khác nhau.

Mô hình FVD (thấp hơn tốt hơn) IS (cao hơn tốt hơn)
VideoJAM 150 9.5
Mô hình cơ sở 200 8.0
Mô hình A 250 7.5
Mô hình B 300 7.0

Ứng dụng tiềm năng của VideoJAM

VideoJAM có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực, bao gồm:

  • Giải trí: Tạo ra các hiệu ứng đặc biệt, phim hoạt hình, và trò chơi điện tử với chuyển động chân thực hơn.
  • Quảng cáo: Tạo ra các video quảng cáo sản phẩm sống động và hấp dẫn hơn.
  • Giáo dục: Tạo ra các video mô phỏng, hướng dẫn trực quan và dễ hiểu hơn.
  • Nghiên cứu khoa học: Mô phỏng các hiện tượng tự nhiên, các quá trình vật lý, hóa học, sinh học.

Hạn chế và hướng nghiên cứu trong tương lai

Mặc dù VideoJAM đã đạt được những kết quả ấn tượng, vẫn còn một số hạn chế cần được khắc phục:

  • Thời gian tạo video vẫn còn tương đối chậm.
  • Khả năng kiểm soát chuyển động chưa thực sự chính xác.
  • Độ dài video hiện tại chỉ có thể tạo ra các video ngắn.

Hướng nghiên cứu trong tương lai bao gồm:

  • Tăng tốc độ tạo video.
  • Cải thiện khả năng kiểm soát chuyển động.
  • Phát triển khả năng tạo video dài hơn.
  • Kết hợp với âm thanh để tạo ra video hoàn chỉnh.

Kết luận

VideoJAM của Meta là một bước tiến lớn trong lĩnh vực tạo video bằng AI, giúp giải quyết vấn đề chuyển động giật cục và thiếu tự nhiên. Bằng cách sử dụng biểu diễn kết hợp hình ảnh-chuyển động và kỹ thuật Inner-Guidance, VideoJAM có thể tạo ra những video có chuyển động mượt mà, chân thực hơn so với các mô hình trước đây. Mặc dù vẫn còn một số hạn chế, nhưng tiềm năng ứng dụng của VideoJAM trong giải trí, quảng cáo, giáo dục và nghiên cứu khoa học là rất lớn. Trong tương lai, những cải tiến về tốc độ xử lý, độ dài video và khả năng kiểm soát chuyển động sẽ giúp công nghệ này ngày càng hoàn thiện, mở ra nhiều cơ hội sáng tạo mới.

 

 

 

 

VideoJAM: Cải Tiến Chuyển Động Khi Tạo Video Bằng AI

Posted on by hello@scuti

Xin chào các bạn, tôi là Minh Hiếu!

Không ngừng phát triển và tạo ra những đột phá mới, AI đang thay đổi thế giới theo cách chưa từng có. Trong hành trình cập nhật và học hỏi, tôi đã dành thời gian tìm hiểu về VideoJAM AI. Chủ đề này mở ra nhiều góc nhìn thú vị và tiềm năng đột phá. Hãy cùng khám phá trong bài viết này nhé!

1. AI thời nay bá đạo thật, nhưng mà… vẫn chưa đủ!

Chúng ta đang sống trong thời đại mà AI có mặt ở khắp mọi nơi. Lướt Facebook, TikTok, hay bất cứ đâu trên internet, ta dễ dàng thấy những hình ảnh, video do AI tạo ra. Nó “quá thật” đến mức ai nhìn vào cũng biết ngay là do AI làm. Video của AI đẹp hơn thật, nhưng chuyển động vẫn cứng, chưa mượt mà, chưa tuân theo các quy luật vật lý. Nói trắng ra là xem vẫn thấy “giả trân”! Vậy ai sẽ đứng lên cải thiện điều đó? Xin giới thiệu Video JAM – kẻ nổi loạn mới trong làng công nghệ! Video JAM không chỉ giúp bạn tạo nội dung bằng video mà còn mang lại chuyển động mượt mà, chân thực như đời thực. Các anh lớn AI cứ ngồi đó mà nhìn nhé, vì JAM đã sẵn sàng vượt mặt nói với những công nghệ cũ và nói rằng “Cha già rồi đúng không?” – Vậy thì về vườn thôi, để JAM làm chủ cuộc chơi!

Nguồn: https://hila-chefer.github.io/videojam-paper.github.io/

2. Vậy thì Video JAM có gì mà ghê vậy ?

Video JAM được thiết kế để cải thiện sự nhất quán của chuyển động trong video AI bằng cách kết hợp thông tin về ngoại hình (appearance) và chuyển động (motion) ngay từ quá trình huấn luyện.Thay vì chỉ tập trung vào độ chính xác pixel hình ảnh như những công nghệ AI đã làm trước đó, Video JAM kết hợp cả hình ảnh và chuyển động đây là 2 thứ làm nên một video ’thật’. Đội ngũ Video JAM tin rằng tin rằng chuyển động chân thực chính là chìa khóa để khai phá toàn bộ tiềm năng của nội dung do AI tạo ra, và đó là lý do họ cống hiến hết mình để hoàn thiện nó. Đội ngũ các nhà nghiên cứu và kỹ sư chuyên gia đã cùng chung một tầm nhìn: tạo ra video AI không chỉ đẹp mắt mà còn chân thực và cuốn hút.

3. Video JAM hoạt động như thế nào ?

Video JAM hoạt động bằng cách:

(a) Huấn luyện (Training):

    • Với một video đầu vào x1​ và biểu diễn chuyển động tương ứng d1d_1d1​, cả hai tín hiệu này đều được thêm nhiễu và nhúng vào một biểu diễn tiềm ẩn chung thông qua một lớp tuyến tính Win+
    • Mô hình khuếch tán (diffusion model) sau đó xử lý dữ liệu đầu vào, và hai lớp chiếu tuyến tính dự đoán cả hình ảnh lẫn chuyển động từ biểu diễn chung Wout+W_{\text{out}}^+Wout+​.

Ý nghĩa của phần huấn luyện trên là: 

Không chỉ tái tạo nội dung từng khung hình, VideoJAM còn học cách duy trì sự liên kết giữa các khung hình để đảm bảo chuyển động mượt mà hơn.

(b) Suy luận (Inference):

    • Chúng tôi đề xuất Inner-Guidance, một cơ chế trong đó chính dự đoán chuyển động nhiễu của mô hình được sử dụng để hướng dẫn quá trình tạo video tại từng bước.

Ý nghĩa của phần suy luận trên là: 

Inner-Guidance giúp mô hình tự điều chỉnh chuyển động theo từng bước thay vì chỉ dựa vào dữ liệu đầu vào, khắc phục hạn chế của các mô hình trước đó.

Ảnh mô tả ở phía dưới: 

Video JAM hoạt động như thế nào

Nguồn:https://hila-chefer.github.io/videojam-paper.github.io/

4. So sánh Video JAM với các phương pháp cũ & Kết quả thử nghiệm

  • Trước đây:
    • Các phương pháp tạo video trước đây chủ yếu tập trung vào việc tạo từng khung hình riêng lẻ mà không quan tâm đến sự kết nối giữa chúng. Điều này khiến video có thể trông đẹp ở từng frame nhưng lại thiếu đi sự mượt mà khi chuyển động.
  • Bây giờ:
    • VideoJAM khắc phục vấn đề này bằng cách học chuyển động một cách trực tiếp, giúp video trở nên tự nhiên hơn.
  • Kết quả thử nghiệm:
    • Các thử nghiệm đã chứng minh Video JAM mang lại nhiều cải tiến quan trọng:
      🔹 Tăng tính nhất quán của chuyển động: Video ít bị giật, các khung hình có sự liên kết rõ ràng hơn.
      🔹 Cải thiện chất lượng hình ảnh: Đảm bảo hình ảnh sắc nét mà không làm mất đi động lực của video.
      🔹 Hiệu suất vượt trội: Video JAM hoạt động tốt hơn so với các mô hình cũ trong các thử nghiệm với chuyển động phức tạp như chạy, nhảy, xoay, v.v.
  • Video so sánh giữa các mô hình Runway gen 3, Sora, DiT, DiT + Video JAM
    • Runway gen 3:

Nguồn: https://hila-chefer.github.io/videojam-paper.github.io/

    • Sora:

Nguồn: https://hila-chefer.github.io/videojam-paper.github.io/

    • DiT

Nguồn: https://hila-chefer.github.io/videojam-paper.github.io/

    • DiT + Video JAM

Nguồn: https://hila-chefer.github.io/videojam-paper.github.io/

5. Video JAM rất mạnh nhưng vẫn có điểm yếu và thách thức 

Mặc dù Video JAM mang lại nhiều cải tiến, nhưng nó vẫn có một số thách thức:

  • Yêu cầu dữ liệu huấn luyện phong phú: Cần một tập dữ liệu đa dạng về chuyển động để mô hình học hiệu quả.
  • Tính toán phức tạp hơn: Mô hình có thể yêu cầu phần cứng mạnh hơn để xử lý thông tin về cả ngoại hình và chuyển động.

6. Tương lai của Video JAM và ứng dụng thực tế

VideoJAM có thể được ứng dụng rộng rãi trong nhiều lĩnh vực:

  • Sản xuất nội dung số: Tạo video AI chất lượng cao cho phim, quảng cáo, game.
  • Tăng cường công nghệ thực tế ảo (VR) và thực tế tăng cường (AR).
  • Ứng dụng trong giáo dục và đào tạo, giúp tạo ra các video mô phỏng chuyển động phức tạp.

Trong tương lai, việc kết hợp Video JAM với các mô hình AI khác có thể giúp tạo ra những video siêu thực, mở ra nhiều cơ hội mới cho ngành công nghệ.

7. Kết luận

Video JAM là một bước tiến quan trọng trong lĩnh vực tạo video bằng AI, giúp cải thiện tính nhất quán của chuyển động và nâng cao chất lượng video. Mặc dù vẫn còn một số thách thức, nhưng công nghệ này hứa hẹn sẽ đóng vai trò quan trọng trong tương lai của AI và đồ họa máy tính.

Bước tiến của AI Agent: Khả năng lập luận, lập kế hoạch, thực thi trong kỷ nguyên mới

Posted on by Quynh Nga

Xin chào các bạn, tôi là Quỳnh Nga!

AI đang là một chủ đề cực kỳ nóng hổi, thu hút sự quan tâm trên toàn cầu. Hòa cùng tinh thần “tự học” sôi nổi tại công ty, tuần này tôi đã tìm hiểu về Bước tiến của AI Agent trong kỷ nguyên mới – một chủ đề đầy thú vị và hứa hẹn nhiều đột phá. Hãy cùng khám phá trong bài viết này nhé!

1. Khả năng và hạn chế hiện tại của các hệ thống AI Agent

AI Agent, hay tác tử AI, đang nổi lên như một bước tiến quan trọng trong lĩnh vực trí tuệ nhân tạo. Không còn dừng lại ở những tác vụ đơn giản, AI Agent được thiết kế để thực hiện các mục tiêu phức tạp, đòi hỏi khả năng lập luận, lập kế hoạch và tương tác với môi trường bên ngoài thông qua các công cụ (tool).

Khả năng

  • Lập luận (Reasoning): Các AI Agent hiện đại, đặc biệt là những agent dựa trên mô hình ngôn ngữ lớn (LLM), có khả năng suy luận logic, giải quyết vấn đề và đưa ra quyết định dựa trên thông tin đầu vào.
  • Lập kế hoạch (Planning): AI Agent có thể xây dựng kế hoạch hành động chi tiết để đạt được mục tiêu, bao gồm việc chia nhỏ mục tiêu lớn thành các nhiệm vụ nhỏ hơn, sắp xếp thứ tự thực hiện và điều chỉnh kế hoạch khi có thông tin mới.
  • Gọi công cụ (Tool Calling): Khả năng tương tác với các công cụ bên ngoài (ví dụ: API, cơ sở dữ liệu, ứng dụng) cho phép AI Agent mở rộng phạm vi hoạt động, truy cập thông tin và thực hiện các hành động trong thế giới thực.
  • Tự học và Thích ứng: Một số AI Agent có khả năng học hỏi từ kinh nghiệm, tự cải thiện hiệu suất và thích ứng với các tình huống mới.

Hạn chế

  • Phụ thuộc vào Dữ liệu Huấn luyện: Hiệu suất của AI Agent phụ thuộc rất nhiều vào chất lượng và số lượng dữ liệu huấn luyện. Dữ liệu thiên vị hoặc không đầy đủ có thể dẫn đến kết quả không chính xác hoặc không mong muốn.
  • Khả năng Giải thích (Explainability): Việc hiểu rõ quá trình ra quyết định của AI Agent, đặc biệt là các agent dựa trên mô hình học sâu (deep learning), vẫn còn là một thách thức lớn.
  • Khả năng Tổng quát hóa (Generalization): AI Agent có thể hoạt động tốt trong các tình huống đã được huấn luyện, nhưng gặp khó khăn khi đối mặt với các tình huống mới, chưa từng gặp.
  • Vấn đề về An toàn và Đạo đức: Cần có các biện pháp kiểm soát chặt chẽ để đảm bảo AI Agent hoạt động an toàn, tuân thủ các quy tắc đạo đức và không gây hại cho con người.

2. Những hiểu biết sâu sắc từ việc quan sát các hệ thống AI Agent trong thực tế

Sơ đồ phương pháp AutoGPT+P

Việc triển khai AI Agent trong các ứng dụng thực tế đã mang lại nhiều bài học quý giá:

  • Tầm quan trọng của ngữ cảnh: Hiệu suất của AI Agent phụ thuộc rất nhiều vào ngữ cảnh cụ thể của ứng dụng. Việc hiểu rõ yêu cầu, ràng buộc và mục tiêu của bài toán là yếu tố then chốt để thiết kế và triển khai AI Agent thành công.
  • Sự tương tác giữa Con người và AI Agent: Trong nhiều trường hợp, sự hợp tác giữa con người và AI Agent mang lại kết quả tốt nhất. Con người có thể cung cấp hướng dẫn, giám sát và can thiệp khi cần thiết, trong khi AI Agent đảm nhận các tác vụ lặp đi lặp lại, tốn thời gian hoặc đòi hỏi khả năng xử lý dữ liệu lớn.
  • Vòng lặp phản hồi (Feedback Loop): Việc thu thập phản hồi từ người dùng và môi trường là rất quan trọng để cải thiện hiệu suất của AI Agent. Phản hồi có thể được sử dụng để điều chỉnh kế hoạch, cập nhật kiến thức và khắc phục các lỗi sai.
  • Tính linh hoạt và khả năng mở rộng: Các hệ thống AI Agent cần được thiết kế để có thể dễ dàng thích ứng với các thay đổi trong môi trường, yêu cầu của người dùng và sự phát triển của công nghệ.

3. Những cân nhắc quan trọng cho sự phát triển AI Agent trong tương lai

Để AI Agent có thể phát huy hết tiềm năng, cần tập trung vào các khía cạnh sau:

  • Nghiên cứu về các kiến trúc AI Agent mới: Cần tiếp tục khám phá các kiến trúc AI Agent tiên tiến, kết hợp các phương pháp học máy khác nhau (ví dụ: học tăng cường, học sâu, học quy nạp) để nâng cao khả năng lập luận, lập kế hoạch và ra quyết định.
  • Phát triển các công cụ và Framework hỗ trợ: Cần có các công cụ và framework mạnh mẽ để giúp các nhà phát triển xây dựng, kiểm thử và triển khai AI Agent một cách dễ dàng và hiệu quả.
  • Tăng cường khả năng Giải thích và tính Minh bạch: Cần có các phương pháp để làm cho quá trình ra quyết định của AI Agent trở nên dễ hiểu hơn đối với con người, giúp tăng cường sự tin tưởng và chấp nhận của người dùng.
  • Đảm bảo An toàn và Đạo đức: Cần có các quy tắc, tiêu chuẩn và cơ chế kiểm soát để đảm bảo AI Agent hoạt động an toàn, không gây hại và tuân thủ các giá trị đạo đức của xã hội.
  • Nghiên cứu về tương tác giữa Con người và AI Agent: Cần hiểu rõ hơn về cách con người và AI Agent có thể hợp tác hiệu quả, tận dụng thế mạnh của cả hai bên để giải quyết các vấn đề phức tạp.

4. So sánh và đối chiếu kiến trúc Single-Agent và Multi-Agent

Có hai kiến trúc chính cho AI Agent: Single-Agent (tác tử đơn) và Multi-Agent (đa tác tử). Mỗi loại có ưu điểm và nhược điểm riêng, phù hợp với các loại bài toán khác nhau.

  • Single-Agent:
    • Ưu điểm: Đơn giản, dễ triển khai, phù hợp với các bài toán có phạm vi hẹp, yêu cầu rõ ràng.
    • Nhược điểm: Khó giải quyết các bài toán phức tạp, đòi hỏi sự phối hợp của nhiều tác tử. Khó khăn trong việc mở rộng và thích ứng với các thay đổi.
    • Ví dụ: ReAct, RAISE, Reflexion, AutoGPT + P, LATS. (Xem Hình 2 ở trang 5, Hình 3 ở trang 5, Hình 4 ở trang 6 để biết thêm chi tiết).

Một ví dụ về phương pháp ReAct so với các phương pháp khác

  • Multi-Agent:
    • Ưu điểm: Có thể giải quyết các bài toán phức tạp, đòi hỏi sự phối hợp của nhiều tác tử. Dễ dàng mở rộng và thích ứng với các thay đổi. Tăng cường khả năng phục hồi và độ tin cậy.
    • Nhược điểm: Phức tạp hơn, khó triển khai hơn. Đòi hỏi cơ chế giao tiếp và phối hợp giữa các tác tử.
    • Phân loại:
      • Kiến trúc dọc (Vertical Architectures): Có một tác tử lãnh đạo điều phối các tác tử khác.
      • Kiến trúc ngang (Horizontal Architectures): Các tác tử bình đẳng, giao tiếp trực tiếp với nhau.

 

  • Ví dụ: Embodied LLM Agents Learn to Cooperate in Organized Teams, DyLAN, AgentVerse, MetaGPT.

Đội ngũ AI Agent với trưởng nhóm được chỉ định rõ ràng sẽ có hiệu năng cao hơn.

 

Sơ đồ phương pháp AgentVerse

5. Tầm quan trọng của Reasoning, Planning và Tool Calling trong hệ thống AI Agent

Sơ đồ thể hiện phương pháp RAISE

Reasoning (lập luận), Planning (lập kế hoạch) và Tool Calling (gọi công cụ) là ba thành phần cốt lõi của một hệ thống AI Agent mạnh mẽ.

  • Reasoning: Cho phép AI Agent suy luận logic, giải quyết vấn đề và đưa ra quyết định dựa trên thông tin đầu vào.
  • Planning: Cho phép AI Agent xây dựng kế hoạch hành động chi tiết để đạt được mục tiêu.
  • Tool Calling: Cho phép AI Agent tương tác với môi trường bên ngoài, truy cập thông tin và thực hiện các hành động.

Sự kết hợp của ba thành phần này cho phép AI Agent giải quyết các bài toán phức tạp trong thế giới thực, vượt xa khả năng của các hệ thống AI truyền thống.

6. Kết luận

AI Agent đang mở ra một kỷ nguyên mới cho trí tuệ nhân tạo, với tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực. Tuy nhiên, vẫn còn nhiều thách thức cần vượt qua, bao gồm việc cải thiện khả năng lập luận, lập kế hoạch, gọi công cụ, tăng cường khả năng giải thích, đảm bảo an toàn và đạo đức, và phát triển các kiến trúc AI Agent tiên tiến. Việc giải quyết những thách thức này sẽ giúp AI Agent trở thành một công cụ mạnh mẽ, hỗ trợ con người giải quyết các vấn đề phức tạp và thúc đẩy sự phát triển của xã hội.

Luo Fuli lead engineer of DeepSeek

Posted on by Hoang The Canh

1. 罗福莉 (Luo Fuli): The Lead Engineer Behind DeepSeek’s Success

1.1 Hometown

罗福莉 was born in 1995 in Sichuan Province, China. From a young age, she exhibited exceptional talent in mathematics and computer science.

1.2 Education

She studied at Beijing Normal University, majoring in Computer Science. She later continued her research at the Computational Linguistics Institute of Peking University, where she started working with advanced NLP models.

1.3 Career Path

After graduating, 罗福莉 joined Alibaba’s DAMO Academy, leading the VECO project—a multilingual pre-training model—and contributed to AliceMind, a language AI platform.

In 2022, she joined DeepSeek as Lead Engineer, playing a key role in developing DeepSeek-V2 and R1, positioning the company as a strong competitor against OpenAI and Google.

 

2. Introduction to DeepSeek

DeepSeek AI: Should You Consider This Open-Source Contender? | by vinay krishna | informategy | Jan, 2025 | Medium

2.1 History of Formation

DeepSeek is a leading technology company in the field of artificial intelligence (AI) in China, founded in May 2023 by Liang Wenfeng, the former founder of High-Flyer, a venture capital technology fund. DeepSeek is headquartered in Hangzhou, Zhejiang Province, China, with the goal of developing large language models (LLMs) capable of competing with OpenAI, Google DeepMind, and Meta AI.

DeepSeek was established in the context of China accelerating its AI development strategy to achieve technological independence and reduce reliance on Western platforms such as OpenAI’s GPT and Google’s Gemini.

2.2 Objectives

DeepSeek aims to build advanced AI models with low costs and high efficiency, serving both enterprises and individual users. The company focuses on optimizing Transformer architecture, developing AI models capable of mathematical reasoning and efficient natural language processing (NLP). Additionally, DeepSeek is committed to maintaining open-source accessibility to allow the community to develop flexible AI applications.

2.3 Recent Notable Versions

 

DeepSeek LLM (11/2023)

The first open-source version of DeepSeek, focusing on support for programmers and AI research.

DeepSeek V2 (5/2024)

A low-cost AI model (only 2 RMB per million output tokens), making AI more accessible to businesses and individuals.

DeepSeek V3 (12/2024)

A language model with 671 billion parameters, surpassing competitors such as Meta’s Llama 3.1 and Alibaba’s Qwen 2.5, focusing on optimizing language processing and mathematics.

DeepSeek R1 (11/2024)

Specialized in logical reasoning and mathematics, outperforming many previous AI models. The R1-Zero variant uses reinforcement learning techniques, enabling AI to learn autonomously without supervision.

2.4 Competitors Directly Affected by DeepSeek’s Emergence

DeepSeek: Is this China's ChatGPT moment and a wake-up call for the US? | Technology News - The Indian Express

DeepSeek’s launch has created strong competition with major AI players such as:

      • OpenAI: DeepSeek R1 surpasses GPT-4 in mathematical and logical reasoning tasks in certain professional evaluations.
      • Google DeepMind: DeepSeek V3 competes with Gemini in natural language processing capabilities.
      • Meta AI: Llama 3.1 is considered inferior to DeepSeek V3 in understanding complex contexts.

2.5 Benefits of DeepSeek for Users

 

    • Low Cost: Users only pay around 2 RMB per million tokens to use DeepSeek V2.
    • High Efficiency: DeepSeek V3 and R1 are optimized for reasoning and language processing tasks.
    • Open-Source: Enables the community to research, customize, and apply AI in various fields.

3. Collaborations with Other Platforms

DeepSeek has established partnerships with major technology corporations and platforms:

    • Tencent Cloud: Integrated DeepSeek into Tencent’s AI solutions, optimizing big data processing capabilities.
    • Huawei Ascend AI: Utilized Huawei’s hardware to enhance AI model training processes.
    • Alibaba Cloud: Applied DeepSeek in intelligent e-commerce solutions.
    • Baidu Ernie: Partnered with Baidu to improve search capabilities and AI chatbots.

These collaborations help DeepSeek expand its influence in the AI ecosystem while providing partners with advanced AI solutions at lower costs.

With 罗福莉 leading the technological advancements at DeepSeek, the company has rapidly emerged as a top AI innovator in China. Her expertise in natural language processing and AI model development has been instrumental in positioning DeepSeek as a strong competitor to OpenAI, Google, and Meta. As DeepSeek continues to evolve, 罗福莉’s leadership will be pivotal in shaping the future of AI research and applications.

 

4. Conclusion

罗福莉 (Luo Fuli) is not only a leading AI engineer but also a visionary figure who has played an essential role in shaping DeepSeek’s position in the AI industry. Her expertise in natural language processing and deep learning has been instrumental in pushing the boundaries of AI technology, making DeepSeek a formidable competitor against giants like OpenAI and Google. With her leadership, DeepSeek has not only introduced powerful AI models but also made them accessible and efficient for businesses and individuals alike. Moving forward, her continued innovation and strategic direction will be crucial in defining the next era of artificial intelligence, solidifying DeepSeek’s reputation as a leader in AI development.

CoRAG: Revolutionizing RAG Systems with Intelligent Retrieval Chains

Posted on by Tran Dinh Trung

Large Language Models (LLMs) have demonstrated powerful content generation capabilities, but they often struggle with accessing the latest information, leading to hallucinations. Retrieval-Augmented Generation (RAG) addresses this issue by using external data sources, enabling models to provide more accurate and context-aware responses.

Key Advantages of RAG:

  • Improves factual accuracy by retrieving up-to-date information.
  • Enhances context comprehension by incorporating external data sources.
  • Reduces reliance on pre-trained memorization, allowing more flexible responses.

However, conventional RAG models have limitations that affect their effectiveness in complex reasoning tasks. Despite its advantages, standard RAG has notable drawbacks:

  1. Single Retrieval Step: Traditional RAG retrieves information only once before generating a response. If the retrieval is incorrect or incomplete, the model cannot refine its search.
  2. Limited Context Understanding: Since retrieval is static, it fails in multi-hop reasoning tasks that require step-by-step information gathering.
  3. Susceptibility to Hallucinations: If relevant information is not retrieved, the model may generate inaccurate or misleading responses.
  4. Inefficiency in Long Queries: For complex queries requiring multiple reasoning steps, a single retrieval step is often insufficient, leading to incomplete or incorrect answers.

CORAG (Chain-of-Retrieval Augmented Generation) is proposed to address these issues by leveraging the Monte Carlo Tree Search (MCTS) algorithm to optimize the information retrieval process.

CoRAG Solution

CoRAG is an enhanced version of RAG that introduces iterative retrieval and reasoning. Instead of retrieving information once, CoRAG performs multiple retrieval steps, dynamically reformulating queries based on evolving context.

How CoRAG Solves RAG’s Limitations

  • Step-by-step retrieval: Instead of relying on a single search, CoRAG retrieves information iteratively, refining the query at each step.
  • Query Reformulation: The system learns to modify its search queries based on previously retrieved results, enhancing accuracy.
  • Adaptive Reasoning: CoRAG dynamically determines the number of retrieval steps needed, ensuring more complete responses.
  • Better Performance in Multi-hop Tasks: CoRAG significantly outperforms RAG in tasks requiring multiple steps of logical reasoning.

CoRAG operates by employing a retrieval chain mechanism, where each retrieval step is informed by the results of previous steps. This allows the system to refine queries dynamically instead of relying on a single retrieval attempt as in traditional RAG. One of the most crucial aspects of CoRAG is query reformulation, which adjusts search queries in real time to retrieve the most relevant information. Thanks to this iterative approach, CoRAG significantly enhances its ability to handle complex, multi-hop reasoning tasks, leading to improved accuracy and reduced misinformation.

Training CoRAG involves the use of rejection sampling to generate intermediate retrieval chains, allowing the model to learn how to optimize search and filter information more effectively. Instead of only predicting the final answer, CoRAG is trained to retrieve information step by step, refining queries based on newly gathered knowledge. This method strengthens the model’s reasoning ability and improves performance on knowledge-intensive tasks.

Fine-tuning the model on optimized datasets is another crucial aspect of CoRAG training. Performance evaluation is conducted using metrics such as Exact Match (EM) score and F1-score, which assess the accuracy and comprehensiveness of responses compared to traditional RAG models.

Overview of CoRAG

Overview of CoRAG(Source: https://arxiv.org/html/2501.14342v1)

A key feature of CoRAG is its decoding strategies, which influence how the model retrieves and processes information. These strategies include:

  • Greedy Decoding: Selecting the most relevant information at each step without exploring alternative options.
  • Best-of-N Sampling: Running multiple retrieval attempts and choosing the most optimal result.
  • Tree Search: Using a structured search approach to explore different reasoning paths and enhance inference quality.

With its enhanced retrieval and reasoning mechanisms, CoRAG represents a major advancement in AI, enabling models to retrieve and synthesize information more effectively.

Comparison Between CoRAG and Traditional RAG

The following table provides a concise comparison between Traditional RAG and CoRAG. While Traditional RAG is more efficient in terms of computational cost, CoRAG excels in accuracy and adaptability for complex tasks. The iterative retrieval process in CoRAG ensures more precise results, making it suitable for specialized applications requiring deep contextual understanding.

Feature Traditional RAG CoRAG
Retrieval Strategy Single-step retrieval Iterative retrieval
Query Reformulation Fixed query Dynamic query adjustment
Multi-Hop Reasoning Limited Strong
Handling Hallucinations Prone to errors Reduces errors
Computational Cost Lower Higher
Adaptability Good for simple queries Ideal for complex domain

Key Differences Between CoRAG and Traditional RAG

  1. Retrieval Strategy
    • Traditional RAG: Performs a single retrieval step, fetching relevant documents once before generating a response. This limits its ability to refine searches based on partial information. Example:
      • Query: “Who wrote book X, and when was it published ?”
      • Traditional RAG: Fails if author and publication year are in separate chunks.
    • CoRAG: Utilizes an iterative retrieval process where multiple search steps refine the query dynamically, leading to more accurate and contextually appropriate responses. Example:
      • Query: “How many months apart are Johan Mjallby and Neil Lennon in age?”
      • CoRAG:
        1. Retrieve Johan Mjallby’s birth date.
        2. Retrieve Neil Lennon’s birth date.
        3. Calculate the time difference.
  2. Query Reformulation
    • Traditional RAG: Uses a fixed query that remains unchanged throughout the retrieval process.
    • CoRAG: Continuously modifies queries based on retrieved results, improving the relevance of later search steps.
  3. Multi-Hop Reasoning
    1. Traditional RAG: Struggles with tasks requiring multiple steps of reasoning, as it retrieves all information at once.
    • CoRAG: Adapts to multi-hop queries, progressively retrieving and synthesizing information step by step.
  4. Handling Hallucinations
    • Traditional RAG: More prone to hallucinations due to incomplete or inaccurate retrieval.
    • CoRAG: Reduces hallucinations by iteratively validating retrieved knowledge before generating responses.

Performance Comparison

Experiments on WikiPassageQA and MARCO datasets show that CORAG improves accuracy by up to 30% over traditional RAG methods. The system achieves higher ROUGE scores than baselines like RAPTOR and NaiveRAG while optimizing retrieval costs.

Efficiency Comparison

Efficiency Comparison (Source: https://arxiv.org/html/2411.00744v1)

Additionally, CORAG demonstrates excellent scalability, with retrieval time increasing by only 10% even when input data volume grows significantly.

  1. Accuracy and Relevance
    • Benchmark Results: Studies show that CoRAG achieves higher accuracy scores in question-answering tasks, outperforming RAG on datasets requiring multi-step reasoning.
    • Real-World Application: AI chatbots and research assistants using CoRAG provide more contextually aware and reliable answers compared to those using traditional RAG.
  2. Computational Cost
    • Traditional RAG: Less computationally expensive as it performs only a single retrieval step.
    • CoRAG: Higher computational demands due to iterative retrieval but offers significantly improved response quality.
  3. Adaptability to Different Domains
    • Traditional RAG: Works well for simple fact-based queries but struggles with domain-specific knowledge that requires iterative retrieval.
    • CoRAG: Excels in complex domains such as legal, medical, and academic research where deep contextual understanding is necessary.

When to Use CoRAG vs. Traditional RAG?

Choosing between CoRAG and traditional RAG depends on the nature of the tasks at hand. Each method has its own advantages and is suited for different use cases.

  • Best Use Cases for Traditional RAG
    • Simple question-answering tasks where a single retrieval suffices.
    • Use cases with strict computational constraints where efficiency is prioritized over deep reasoning.
    • Applications requiring quick but approximate answers, such as customer support chatbots handling FAQ-based interactions.
  • Best Use Cases for CoRAG
    • Complex queries requiring multi-hop reasoning and deep contextual understanding.
    • Research and academic applications where iterative refinement improves information accuracy.
    • AI-driven assistants handling specialized tasks such as legal document analysis and medical diagnosis support.

Conclusion

CoRAG (Chain-of-Retrieval Augmented Generation) represents a significant advancement in AI-driven knowledge retrieval and synthesis. By integrating vector search, contrastive ranking, and decision tree modeling, CoRAG enhances the accuracy, relevance, and structure of information provided to large language models. This systematic approach not only reduces hallucinations but also optimizes AI-generated responses, making it a powerful tool for applications requiring high-quality knowledge retrieval.

With its intelligent ability to retrieve, rank, and organize information, CoRAG opens new possibilities in enterprise search, research assistance, and AI-driven decision-making. As AI continues to evolve, systems like CoRAG will play a crucial role in bridging raw data with actionable knowledge, fostering more intelligent and reliable AI applications.

© 2015 - 2025 Scuti. All rights reserved.