Streamlining Business Operations with Generative AI! Case Studies in the Advertising Industry

 

Hello, my name is Kakeya, the representative of Scuti.

Our company provides services such as offshore development and lab-based development in Vietnam, focusing on generative AI. We also offer generative AI consulting, and recently, we have received numerous requests for system development integrated with generative AI.

In the advertising industry, streamlining daily operations is a critical theme. With the advancement of generative AI technologies, new methods to enhance the efficiency of creative production and marketing operations have gained significant attention.

Generative AI facilitates the creation of advertising banners and the automated generation of creative content, enabling the delivery of high-quality ads in a short period. However, many may still wonder how to implement it effectively, as well as what specific use cases and applications exist.

This Article Explores Methods and Case Studies of Generative AI to Streamline Operations in the Advertising Industry and Enhance Productivity.

 

What is Generative AI?

Generative AI refers to a type of machine learning model known as a generative model, which creates new data based on the data it has been trained on. This technology is applied in various fields, including natural language processing, image recognition, speech synthesis, and video generation.

For instance, generative AI can automatically produce text from text data, generate new images from image data, or create new sounds from audio data. Additionally, it enables the creation of innovative works based on input data, and it is increasingly being utilized in art, entertainment, and the advertising industry.

With technological advancements, generative AI has gained attention as a tool that supports human creativity and provides new value.

How Generative AI Works

The mechanism of generative AI is based on deep learning technology. Deep learning uses multi-layer neural networks to automatically extract and learn patterns and features from large datasets. During this process, generative AI uncovers hidden relationships and structures within the data and uses these characteristics to generate new data.

For example, text-generating AI learns from extensive text data, understanding grammatical and contextual patterns to generate natural new text. Image-generating AI captures visual features from numerous images and can create entirely new images from scratch. Similarly, audio and video-generating AI learn waveforms and motion patterns to produce realistic sounds and visuals.

 

Application of Generative AI in the Advertising Industry

Automated Generation of Advertising Creative Content

Generative AI can automatically create advertising elements such as catchy slogans, images, and videos. This significantly reduces the time required for ad production and enables the exploration of a greater variety of creative options.

Enhancement of Targeted Advertising Accuracy

Generative AI analyzes user behavior and demographic data to deliver the most suitable advertisements automatically. This helps improve both click-through rates and conversion rates, maximizing campaign effectiveness.

Streamlining Communication with Customers

Generative AI can be used to automate customer interactions through tools such as chatbots and virtual assistants. This reduces the time spent on customer service and enhances overall customer satisfaction.

 

Benefits of Introducing Generative AI

Time Savings through Operational Efficiency

By automating many tasks previously performed by humans, generative AI contributes significantly to reducing time consumption. This allows employees to focus more on creative and value-added tasks.

Cost Reduction

Generative AI helps lower personnel costs and production expenses. This is particularly effective in areas that require specialized knowledge or skills, such as creative production and data analysis, providing substantial cost-saving benefits.

Quality Improvement

Generative AI, by learning from vast amounts of data, can produce content and services with a level of quality that surpasses human creativity and performance in specific fields.

For example, text-generating AI can swiftly create natural texts based on extensive textual data. It is applicable for various purposes, such as news articles, blogs, product descriptions, and even novels or poems. This enables the generation of high-quality, consistent content more efficiently than manual efforts.

 

Considerations When Implementing Generative AI

  1. Data Bias

    Generative AI creates new content based on its learning from large datasets. However, if the training data contains biases, the resulting output may reflect those biases.

For instance, if the data contains uneven representation of certain cultures, genders, or regions, the AI may generate unfair or biased results. It is crucial to carefully assess the quality of the data and understand any inherent biases to manage them appropriately.

Ensuring that AI has access to well-balanced information is a vital step toward achieving fair and accurate outputs.

  1. Copyright Issues

    Generative AI references existing data to create new content, but it may unintentionally incorporate portions of copyrighted works during this process. Therefore, it is essential to verify that the content generated by AI does not infringe on copyright laws.

For example, without clearly defining the rights concerning text, images, music, or any other type of content, legal disputes may arise. When utilizing generative AI, sufficient caution must be taken to ensure that the technology does not lead to legal issues.

  1. Ethical Issues

    Since generative AI creates information based on the data it has learned, there is a risk that it may generate content containing discriminatory expressions or misinformation.

For example, if the data includes biases or stereotypes related to race, gender, or religion, the AI may reflect these in its output. Therefore, it is essential to use AI in an ethically appropriate manner by carefully considering and managing its usage. To prevent adverse social impacts, the ethical aspects of generative AI must be thoroughly taken into account.

 

Steps for Implementing Generative AI

  1. Clarifying Objectives and Challenges

    It is crucial to define the objectives for implementing generative AI and specify the challenges you aim to address. For instance, setting clear goals such as improving ad production efficiency, enhancing targeting accuracy, or increasing customer satisfaction is essential.

  2. Selecting the Right Generative AI Tools

    There are numerous generative AI tools available, but selecting a tool that aligns with your company’s needs and objectives is necessary. When choosing a tool, it is important to consider factors such as functionality, cost, security, and support system.

  3. Preparing Data

    The quality of the content generated by AI depends on the quality of the training data. Therefore, it is necessary to gather data that is most relevant to your business operations and process it into an appropriate format.

  4. Testing and Validation

    Once the generative AI tools are in use, testing and validation should be conducted. It is important to assess the quality and effectiveness of the generated content and make parameter adjustments or tool changes as needed.

  5. Building an Operational Structure

    To continue utilizing generative AI effectively, it is necessary to establish an operational structure. This includes assigning responsible personnel, regularly monitoring the operational status, and updating tools and data when necessary.

 

Specific Steps for Implementing Generative AI in the Advertising Industry

The following steps outline an effective approach for integrating AI into marketing and advertising:

  1. Enhancing Internal Understanding of AI

    It is essential to familiarize employees with the basics of AI technology and its practical applications. Conducting training sessions, workshops, or study meetings helps alleviate concerns or resistance towards AI and fosters an environment where employees can actively leverage AI.

  2. Identifying Concrete Use Cases for AI

    Clearly define how AI can be integrated into marketing and advertising processes to improve operational efficiency and increase sales. For instance, delegating customer data analysis to AI can enhance the precision of targeting and personalized advertising efforts.

  3. Selecting Appropriate AI Tools

    Implementing AI tools that align with your company’s marketing goals and workflow is crucial. Consider functionality, cost, security, and post-deployment support when choosing tools. There are various options, including data analysis tools, chatbots, and content generation tools.

  4. Organizing and Utilizing Data

    Since AI depends on data for learning, it is necessary to collect and organize high-quality data. Gather data on customer behavior, purchase history, and campaign results, and structure it into formats suitable for AI, enabling more precise and effective marketing strategies.

  5. Measuring Effectiveness and Providing Feedback

    Quantify the outcomes of AI-powered campaigns and initiatives to identify successes and areas for improvement. Continuously monitor the impact of AI, and adjust your marketing strategies accordingly to achieve further optimization and efficiency.

By following these steps incrementally, companies can drive innovation in marketing and advertising activities, enhancing their competitiveness.

 

Case Study of Generative AI Adoption in the Advertising Industry

Coca-Cola’s “Create Real Magic” Campaign

This campaign utilizes generative AI to allow users to create original artworks using Coca-Cola’s brand assets, logos, and visual elements.

Users can unleash their creativity to design artwork based on Coca-Cola’s unique themes and share their creations. This initiative promotes interaction between the brand and consumers, increasing engagement by involving consumers in the creative process.

Empowered by AI, users can reimagine Coca-Cola’s identity as personal expressions, achieving significant success as a participatory marketing campaign.

Duolingo’s AI Learning Feature

This feature leverages generative AI to analyze users’ learning progress in real time and automatically generate the most suitable practice problems for individual learners. The AI understands the learners’ strengths and weaknesses and provides a customized learning experience based on this information. This approach enables users to improve their language skills more efficiently while maintaining their learning motivation.

Additionally, the generative AI adjusts the difficulty based on user responses, ensuring that the learning content remains both appropriate and challenging. This high level of personalization has become a key factor in Duolingo’s success, offering a flexible learning environment where learners can progress at their own pace.

 

The Future of the Advertising Industry with Generative AI

Generative AI holds the potential to transform the advertising industry and unlock new possibilities.

  1. Personalization of Customer Experience

    Generative AI analyzes customers’ behavioral history and preferences to generate the most suitable ads and content for each individual. This enhances the customer experience, deepening engagement with the brand.

  2. Democratization of Creative Production

    In the past, creative production required the expertise of designers and copywriters. However, with the advent of generative AI, anyone can easily create high-quality ad content. This democratization is expected to inspire more ideas and revitalize creativity across the advertising industry.

  3. Visualization and Optimization of Ad Performance

    Generative AI enables real-time analysis and optimization of advertising campaigns. This allows for the reduction of wasted ad spend and more effective budget allocation.

 

Our Company’s Case Studies

AI Document Search for a Major Digital Marketing Company

We customized our “Secure GAI” to create a system where internal documents, such as work regulations and proposals, can be searched via AI chat.

Additionally, we implemented functions tailored to the company’s operations, including integration with external cloud services, image generation and analysis, and the Code Interpreter feature.

Automated Generation of LP Content

We built a system that uses LLM to generate parts of landing page content automatically, optimizing conversion rates (CVR).

Automated Video Content Planning

For a client in video production, we developed a system where generative AI understands the “winning patterns” accumulated by the client. By entering the project outline, the system automatically generates plans aligned with these patterns.

 

Conclusion

Generative AI has the potential to improve operational efficiency, enhance customer experience, and create new business models in the advertising industry. By proactively utilizing generative AI, the entire advertising industry can evolve, leading to a more innovative and creative future.

 

Tối ưu hóa hoạt động với AI tạo sinh! Các trường hợp ứng dụng trong ngành quảng cáo

 

Xin chào, tôi là Kakeya, đại diện của Scuti.

Công ty chúng tôi cung cấp các dịch vụ như phát triển offshore và phát triển theo mô hình lab tại Việt Nam, tập trung vào AI tạo sinh. Chúng tôi cũng cung cấp dịch vụ tư vấn về AI tạo sinh, và gần đây, chúng tôi đã nhận được nhiều yêu cầu phát triển hệ thống tích hợp AI tạo sinh.

Trong ngành quảng cáo, việc tối ưu hóa hoạt động hàng ngày là một chủ đề quan trọng. Với sự phát triển của công nghệ AI tạo sinh, các phương pháp mới để nâng cao hiệu quả trong sản xuất sáng tạo và quản lý marketing đã thu hút nhiều sự chú ý.

AI tạo sinh giúp tạo ra banner quảng cáo và tự động hóa việc sản xuất nội dung sáng tạo, cho phép tạo ra quảng cáo chất lượng cao trong thời gian ngắn. Tuy nhiên, nhiều người có thể vẫn chưa biết cách triển khai hiệu quả và những trường hợp sử dụng cụ thể như thế nào.

Bài viết này khám phá các phương pháp và ví dụ áp dụng AI tạo sinh để tối ưu hóa quy trình trong ngành quảng cáo và nâng cao năng suất.

 

AI tạo sinh là gì?

AI tạo sinh là một loại mô hình học máy được gọi là mô hình tạo sinh, có khả năng tạo ra dữ liệu mới dựa trên dữ liệu đã được học. Công nghệ này được ứng dụng trong nhiều lĩnh vực như xử lý ngôn ngữ tự nhiên, nhận diện hình ảnh, tổng hợp giọng nói và tạo video.

Ví dụ, AI tạo sinh có thể tự động tạo văn bản từ dữ liệu văn bản, tạo ra hình ảnh mới từ dữ liệu hình ảnh hoặc tạo âm thanh mới từ dữ liệu âm thanh. Ngoài ra, AI tạo sinh còn có thể tạo ra những tác phẩm sáng tạo dựa trên dữ liệu đầu vào và đang ngày càng được ứng dụng trong nghệ thuật, giải trí và ngành quảng cáo.

Với sự phát triển của công nghệ, AI tạo sinh đã thu hút sự chú ý như một công cụ hỗ trợ cho sự sáng tạo của con người và mang lại những giá trị mới.

Cách thức hoạt động của AI tạo sinh

Cơ chế hoạt động của AI tạo sinh dựa trên công nghệ học sâu (deep learning). Học sâu sử dụng các mạng nơ-ron nhiều lớp để tự động trích xuất và học các mẫu và đặc điểm từ các tập dữ liệu lớn. Trong quá trình này, AI tạo sinh sẽ tìm ra các mối quan hệ và cấu trúc ẩn trong dữ liệu và tạo dữ liệu mới dựa trên những đặc điểm đó.

Ví dụ, AI tạo văn bản học từ dữ liệu văn bản phong phú, hiểu được các mẫu ngữ pháp và ngữ cảnh để tạo ra các văn bản tự nhiên mới. AI tạo hình ảnh nắm bắt các đặc điểm thị giác từ nhiều hình ảnh và có thể vẽ nên hình ảnh mới từ đầu. Tương tự, AI tạo âm thanh và video học các dạng sóng âm và chuyển động để tạo ra âm thanh và hình ảnh chân thực.

 

Cách áp dụng AI tạo sinh trong ngành quảng cáo

Tự động tạo nội dung sáng tạo quảng cáo

AI tạo sinh có thể tự động tạo ra các yếu tố quảng cáo như khẩu hiệu thu hút, hình ảnh và video. Điều này giúp rút ngắn thời gian sản xuất quảng cáo và cho phép thử nhiều lựa chọn sáng tạo hơn.

Nâng cao độ chính xác của quảng cáo nhắm mục tiêu

AI tạo sinh phân tích dữ liệu hành vi và thông tin người dùng để tự động phân phối quảng cáo phù hợp nhất. Nhờ đó, tỷ lệ nhấp chuột và tỷ lệ chuyển đổi của quảng cáo được kỳ vọng sẽ tăng lên.

Tối ưu hóa giao tiếp với khách hàng

AI tạo sinh được sử dụng để tự động hóa giao tiếp với khách hàng thông qua các công cụ như chatbot và trợ lý ảo. Điều này giúp rút ngắn thời gian xử lý yêu cầu và nâng cao mức độ hài lòng của khách hàng.

 

Lợi ích của việc áp dụng AI tạo sinh

Tiết kiệm thời gian nhờ tối ưu hóa quy trình làm việc

AI tạo sinh giúp tự động hóa nhiều công việc mà trước đây con người phải thực hiện, đóng góp đáng kể vào việc tiết kiệm thời gian. Nhờ đó, nhân viên có thể tập trung vào các nhiệm vụ sáng tạo và mang lại giá trị cao hơn.

Giảm chi phí

AI tạo sinh giúp giảm chi phí nhân sự và chi phí sản xuất. Điều này đặc biệt hiệu quả trong các lĩnh vực yêu cầu kiến thức chuyên môn hoặc kỹ năng cao như sản xuất nội dung sáng tạo và phân tích dữ liệu, mang lại lợi ích lớn về mặt tiết kiệm chi phí.

Nâng cao chất lượng

AI tạo sinh, thông qua việc học từ một lượng dữ liệu lớn, có thể tạo ra nội dung và dịch vụ với chất lượng vượt trội so với sự sáng tạo và hiệu suất của con người trong một số lĩnh vực cụ thể.

Ví dụ, AI tạo văn bản có thể nhanh chóng tạo ra các văn bản tự nhiên dựa trên dữ liệu văn bản phong phú. Nó được ứng dụng trong nhiều mục đích như bài báo, blog, mô tả sản phẩm và thậm chí cả tiểu thuyết hay thơ. Điều này giúp tạo ra nội dung chất lượng cao và nhất quán hiệu quả hơn so với việc làm thủ công.

 

Những lưu ý khi triển khai AI tạo sinh

1. Sự thiên lệch trong dữ liệu

AI tạo sinh tạo ra nội dung mới dựa trên việc học từ dữ liệu lớn. Tuy nhiên, nếu dữ liệu đào tạo chứa các yếu tố thiên lệch, kết quả đầu ra có thể phản ánh những thiên lệch đó.

Ví dụ, nếu dữ liệu có sự phân bố không đồng đều về các nền văn hóa, giới tính, hoặc khu vực, AI có thể tạo ra kết quả không công bằng. Do đó, việc đánh giá kỹ lưỡng chất lượng dữ liệu và hiểu rõ các yếu tố thiên lệch là rất quan trọng để quản lý chúng đúng cách.

Đảm bảo rằng AI có thể truy cập vào thông tin cân bằng là một bước quan trọng để đạt được đầu ra công bằng và chính xác.

2. Vấn đề bản quyền

AI tạo sinh tham chiếu dữ liệu hiện có để tạo ra nội dung mới, nhưng có thể vô tình sử dụng một phần tác phẩm có bản quyền trong quá trình này. Vì vậy, cần kiểm tra trước để đảm bảo nội dung do AI tạo ra không vi phạm bản quyền.

Ví dụ, nếu không làm rõ quyền liên quan đến văn bản, hình ảnh, âm nhạc hoặc bất kỳ loại nội dung nào, có thể phát sinh tranh chấp pháp lý. Khi sử dụng AI tạo sinh, cần thận trọng để đảm bảo công nghệ này không gây ra vấn đề pháp lý.

3. Vấn đề đạo đức

Vì AI tạo sinh tạo ra thông tin dựa trên dữ liệu đã học, nên có nguy cơ nó sẽ tạo ra nội dung chứa các biểu hiện phân biệt hoặc thông tin sai lệch.

Ví dụ, nếu dữ liệu học chứa các định kiến hoặc khuôn mẫu liên quan đến chủng tộc, giới tính hoặc tôn giáo, AI có thể phản ánh những yếu tố đó trong kết quả của nó. Do đó, cần thận trọng xem xét và quản lý việc sử dụng AI để đảm bảo tính đạo đức. Để tránh tác động tiêu cực đến xã hội, các khía cạnh đạo đức của AI tạo sinh cần được xem xét kỹ lưỡng.

 

Các bước triển khai AI tạo sinh

1. Xác định rõ mục tiêu và thách thức

Cần xác định rõ mục tiêu của việc triển khai AI tạo sinh và cụ thể hóa các thách thức cần giải quyết. Ví dụ, việc đặt ra các mục tiêu cụ thể như nâng cao hiệu quả sản xuất quảng cáo, cải thiện độ chính xác của nhắm mục tiêu, hoặc tăng cường sự hài lòng của khách hàng là rất quan trọng.

2. Lựa chọn công cụ AI tạo sinh phù hợp

Có nhiều công cụ AI tạo sinh trên thị trường, nhưng cần chọn công cụ phù hợp với nhu cầu và mục tiêu của công ty. Khi chọn công cụ, cần xem xét các yếu tố như tính năng, chi phí, bảo mật và hệ thống hỗ trợ.

3. Chuẩn bị dữ liệu

Chất lượng nội dung do AI tạo ra phụ thuộc vào chất lượng dữ liệu học. Vì vậy, cần thu thập dữ liệu phù hợp nhất với hoạt động của doanh nghiệp và xử lý chúng theo định dạng thích hợp.

4. Kiểm tra và xác thực

Sau khi triển khai công cụ AI tạo sinh, cần tiến hành kiểm tra và xác thực. Đánh giá chất lượng và hiệu quả của nội dung được tạo ra và điều chỉnh các tham số hoặc thay đổi công cụ nếu cần thiết.

5. Xây dựng cơ cấu vận hành

Để tiếp tục sử dụng AI tạo sinh một cách hiệu quả, cần xây dựng cơ cấu vận hành. Điều này bao gồm phân công người phụ trách, thường xuyên theo dõi tình trạng vận hành và cập nhật công cụ hoặc dữ liệu khi cần thiết.

 

Các bước cụ thể để triển khai AI tạo sinh trong ngành quảng cáo

Các bước dưới đây sẽ giúp áp dụng AI vào hoạt động marketing và quảng cáo một cách hiệu quả:

1. Nâng cao hiểu biết nội bộ về AI

Nhân viên cần được trang bị kiến thức về công nghệ AI và cách ứng dụng cụ thể của nó. Việc tổ chức các buổi đào tạo, hội thảo hoặc workshop giúp giảm bớt lo ngại và khuyến khích nhân viên tích cực sử dụng AI.

2. Xác định các trường hợp sử dụng cụ thể của AI

Cần xác định rõ cách AI có thể tích hợp vào quy trình marketing và quảng cáo để tối ưu hóa hoạt động và tăng doanh thu. Ví dụ, phân tích dữ liệu khách hàng bằng AI có thể cải thiện độ chính xác của việc nhắm mục tiêu và cá nhân hóa quảng cáo.

3. Lựa chọn công cụ AI phù hợp

Việc triển khai công cụ AI cần phải phù hợp với mục tiêu marketing và quy trình làm việc của công ty. Khi chọn công cụ, cần xem xét các yếu tố như tính năng, chi phí, bảo mật và hỗ trợ sau khi triển khai. Có nhiều lựa chọn, bao gồm công cụ phân tích dữ liệu, chatbot và công cụ tạo nội dung.

4. Tổ chức và sử dụng dữ liệu

Vì AI phụ thuộc vào dữ liệu để học hỏi, cần thu thập và tổ chức dữ liệu chất lượng cao. Thu thập dữ liệu về hành vi khách hàng, lịch sử mua sắm và kết quả chiến dịch, và chuẩn bị chúng dưới dạng phù hợp với AI để thực hiện chiến lược marketing chính xác và hiệu quả hơn.

5. Đo lường hiệu quả và phản hồi

Đo lường định lượng hiệu quả của các chiến dịch và sáng kiến có sử dụng AI để xác định thành công và cải thiện. Theo dõi liên tục tác động của AI và điều chỉnh chiến lược marketing để đạt hiệu quả và tối ưu hóa cao hơn.

Bằng cách thực hiện theo các bước này, doanh nghiệp có thể tạo ra những đổi mới trong marketing và quảng cáo, đồng thời tăng cường năng lực cạnh tranh.

 

Ví dụ về việc áp dụng AI tạo sinh trong ngành quảng cáo

Chiến dịch “Create Real Magic” của Coca-Cola

Chiến dịch này sử dụng AI tạo sinh để cho phép người dùng tạo ra các tác phẩm nghệ thuật độc đáo bằng cách sử dụng tài sản thương hiệu, logo và yếu tố hình ảnh của Coca-Cola.

Người dùng có thể phát huy sự sáng tạo của mình để thiết kế các tác phẩm nghệ thuật dựa trên chủ đề độc đáo của Coca-Cola và chia sẻ chúng. Đây là một sáng kiến thúc đẩy sự tương tác giữa thương hiệu và người tiêu dùng, tăng cường sự gắn kết bằng cách cho phép người tiêu dùng tham gia vào quá trình sáng tạo.

Với sức mạnh của AI, người dùng có thể tái hiện bản sắc của Coca-Cola theo cách riêng của mình, tạo ra thành công lớn trong chiến dịch marketing có sự tham gia của người dùng.

Tính năng học tập AI của Duolingo

Tính năng này sử dụng AI tạo sinh để phân tích tiến trình học tập của người dùng trong thời gian thực và tự động tạo ra các bài tập phù hợp nhất cho từng người học. AI hiểu được các điểm mạnh và điểm yếu của người học và cung cấp trải nghiệm học tập được tùy chỉnh dựa trên thông tin đó, giúp người dùng nâng cao kỹ năng ngôn ngữ một cách hiệu quả hơn và duy trì động lực học tập.

Ngoài ra, AI tạo sinh điều chỉnh độ khó dựa trên phản hồi của người dùng, đảm bảo nội dung học tập luôn phù hợp và có tính thách thức. Mức độ cá nhân hóa cao này là một trong những yếu tố quan trọng góp phần vào thành công của Duolingo, tạo ra môi trường học tập linh hoạt cho phép người học tiến bộ theo tốc độ của riêng mình.

 

Tương lai của ngành quảng cáo với AI tạo sinh

AI tạo sinh có khả năng thay đổi cách thức hoạt động của ngành quảng cáo và mở ra những cơ hội mới.

1. Cá nhân hóa trải nghiệm khách hàng

AI tạo sinh phân tích lịch sử hành vi và sở thích của khách hàng để tạo ra quảng cáo và nội dung phù hợp nhất cho từng cá nhân, cải thiện trải nghiệm và tăng cường sự gắn kết với thương hiệu.

2. Dân chủ hóa sản xuất sáng tạo

Trước đây, sản xuất sáng tạo đòi hỏi chuyên môn từ các nhà thiết kế và người viết quảng cáo. Tuy nhiên, với sự ra đời của AI tạo sinh, bất kỳ ai cũng có thể dễ dàng tạo ra nội dung quảng cáo chất lượng cao. Điều này được kỳ vọng sẽ khơi dậy nhiều ý tưởng hơn và thúc đẩy sự sáng tạo trong toàn bộ ngành quảng cáo.

3. Hiển thị và tối ưu hóa hiệu quả quảng cáo

AI tạo sinh cho phép phân tích và tối ưu hóa các chiến dịch quảng cáo theo thời gian thực, giúp giảm thiểu lãng phí ngân sách và phân bổ nguồn lực hiệu quả hơn.

 

Ví dụ về ứng dụng của chúng tôi

Tìm kiếm tài liệu bằng AI cho một công ty marketing kỹ thuật số lớn

Chúng tôi đã tùy chỉnh “Secure GAI” để xây dựng hệ thống cho phép tìm kiếm các tài liệu nội bộ như quy định làm việc và đề xuất qua AI chat.

Ngoài ra, chúng tôi đã triển khai các chức năng phù hợp với hoạt động của công ty, bao gồm tích hợp với dịch vụ đám mây bên ngoài, tạo và phân tích hình ảnh, cũng như tính năng Code Interpreter.

Tự động tạo nội dung LP

Chúng tôi đã phát triển hệ thống sử dụng LLM để tự động tạo một phần nội dung của trang đích, tối ưu hóa tỷ lệ chuyển đổi (CVR).

Tự động lập kế hoạch nội dung video

Đối với khách hàng trong lĩnh vực sản xuất video, chúng tôi đã xây dựng hệ thống để AI hiểu được các “mô hình thành công” mà khách hàng đã tích lũy. Bằng cách nhập nội dung dự án, hệ thống sẽ tự động tạo ra kế hoạch phù hợp với các mô hình này.

 

Kết luận

AI tạo sinh có khả năng cải thiện hiệu quả hoạt động, nâng cao trải nghiệm khách hàng và tạo ra các mô hình kinh doanh mới trong ngành quảng cáo. Việc chủ động sử dụng AI tạo sinh sẽ giúp ngành quảng cáo phát triển và tạo ra một tương lai sáng tạo và đầy tiềm năng hơn.

What is Contextual Retrieval: A Method to Improve RAG Accuracy

Hello, I am Kakeya, the representative of Scuti.

Our company provides services such as offshore development and lab-type development in Vietnam, specializing in generative AI, as well as consulting related to generative AI. Recently, we have been fortunate to receive many requests for system development integrated with generative AI.

Anthropic has announced a new method called “Contextual Retrieval,” which enhances the accuracy of information retrieval in Retrieval-Augmented Generation (RAG).

Contextual Retrieval not only uses traditional keyword matching and semantic search but also deeply understands the context of the user’s query and task to provide more accurate and appropriate information. It is particularly effective for tasks where contextual understanding is critical, such as programming and technical questions.

This article will introduce an overview of Contextual Retrieval.

Before diving into the main topic, for those who want to confirm what generative AI or ChatGPT is, please refer to the following articles.

What is Contextual Retrieval?

Contextual Retrieval is a method that improves RAG’s search accuracy by adding contextual information to the fragments (chunks) of information retrieved from a knowledge base during RAG processes.

In RAG, documents are split into small chunks to create embeddings. However, if the chunks lack sufficient contextual information, search accuracy may decrease.

Contextual Retrieval addresses this issue by adding contextual information to the chunks before creating the embeddings. Specifically, it uses large language models (LLMs) to generate concise contextual explanations for each chunk, which are then added to the beginning of the chunk.

The Mechanism of Contextual Retrieval

Contextual Retrieval consists of the following processes:

  • Chunk Splitting: First, the document is divided into meaningful units (chunks). Various methods can be used, such as splitting by a fixed number of characters, sentence boundaries, or headings.
  • Context Generation: LLM is used to generate contextual information for each chunk based on the content of the entire document. For example, if a chunk says, “Compared to the previous quarter, the company’s revenue increased by 3%,” LLM analyzes the document and generates context such as “This chunk comes from ACME’s SEC filing for Q2 2023. The revenue for the previous quarter was… and the operating profit was…”.
  • Adding Context to Chunks: The generated context is added to the beginning of the corresponding chunk.
  • Embedding Creation: Embeddings are created using an embedding model for the chunks with added contextual information.

Example of Chunk Splitting in Conventional RAG vs Contextual Retrieval

  • Conventional RAG Chunk Splitting: The document is split into chunks based on a fixed number of characters.
    • Chunk 1: “ACME announced its Q2 2023 results. Revenue increased by 10% year-on-year…”
    • Chunk 2: “…Compared to the previous quarter, the company’s revenue increased by 3%. This was…”
    • Chunk 3: “…due to strong sales of new products.”
  • Chunk Splitting Using Contextual Retrieval: The document is split into chunks with added context.
    • Chunk 1: “This chunk comes from ACME’s SEC filing for Q2 2023. The revenue for the previous quarter was… and the operating profit was… ACME announced its Q2 2023 results. Revenue increased by 10% year-on-year…”
    • Chunk 2: “This chunk comes from ACME’s SEC filing for Q2 2023. The revenue for the previous quarter was… and the operating profit was… Compared to the previous quarter, the company’s revenue increased by 3%. This was…”
    • Chunk 3: “This chunk comes from ACME’s SEC filing for Q2 2023. The revenue for the previous quarter was… and the operating profit was… Strong sales of new products contributed to this increase.”

In this way, Contextual Retrieval clarifies which part of the document each chunk refers to and improves search accuracy by highlighting the chunk’s relationships with the surrounding content.

Differences from Conventional RAG

In conventional RAG, embeddings are created solely from the text of the chunk. However, in Contextual Retrieval, embeddings reflect both the text of the chunk and the contextual information from the entire document. This allows for more contextually appropriate chunks to be retrieved in response to search queries

The Mechanism of Information Retrieval in Contextual Retrieval

In Contextual Retrieval, information retrieval is performed through the following steps to efficiently obtain highly relevant information in response to a user’s query.

  1. Query Analysis: The user’s query is analyzed to extract keywords, phrases, and the intent behind the search.
  2. Embedding Retrieval: Based on the query analysis results, an embedding vector corresponding to the query is generated.
  3. Similarity Calculation: The embedding vector of the query is compared with the embedding vectors of the chunks stored in the knowledge base, and their similarity is calculated.
  4. Chunk Selection: Based on the similarity calculations, the most relevant chunks are selected from the top-ranking ones.
  5. Information Extraction: Information suitable for answering the query is extracted from the selected chunks.
  6. Response Generation: A response is generated based on the extracted information and presented to the user.

Conventional RAG Mechanism
Source: The figure is edited by the author and published in https://www.anthropic.com/news/contextual-retrieval.

Preprocessing in Contextual Retrieval
Source: The figure is edited by the author and published in https://www.anthropic.com/news/contextual-retrieval.

Contextual Embeddings and Contextual BM25

In Contextual Retrieval, two methods—Contextual Embeddings and Contextual BM25—can be combined to enable information retrieval utilizing contextual information.

  • Contextual Embeddings: Embeddings are created for chunks with contextual information added, using an embedding model. This allows for semantic similarity-based searches.
  • Contextual BM25: BM25 is a widely-used method for information retrieval that scores the relevance of a document based on the matching between the query’s keywords and the document’s keywords. Contextual BM25 applies BM25 to chunks with added contextual information, allowing for searches that consider both keyword matching and contextual information.

By combining these methods, both semantic similarity and keyword matching are comprehensively evaluated to achieve more accurate search results.

Collaboration Between Contextual Embeddings and Contextual BM25

Contextual Embeddings and Contextual BM25 collaborate through the following approximate process:

  1. Scores are calculated for the query using both Contextual Embeddings and Contextual BM25.
  2. These scores are integrated based on predefined weighting.
  3. Based on the integrated scores, a ranking of chunks is created.

BM25 and TF-IDF

BM25 is an extended version of TF-IDF (Term Frequency-Inverse Document Frequency). TF-IDF calculates the importance of a word in a document based on the frequency with which the word appears in that document (Term Frequency) and the inverse frequency with which the word appears in other documents (Inverse Document Frequency). BM25 enhances TF-IDF by also considering factors such as document length and the number of terms in the query, thus achieving more accurate scoring.

Benchmark Results

Anthropic evaluated the performance of Contextual Retrieval across various datasets, including codebases, fiction, ArXiv papers, and scientific papers. The evaluation metric used was recall@20, which measures whether the top 20 chunks contain relevant documents.

The results showed that Contextual Retrieval improved search accuracy compared to traditional RAG:

  • Using Contextual Embeddings alone reduced the failure rate of retrieving the top 20 chunks by 35% (from 5.7% to 3.7%).
  • Combining Contextual Embeddings and Contextual BM25 reduced the failure rate by 49% (from 5.7% to 2.9%).
  • Additionally, by incorporating a re-ranking step using Cohere’s re-ranking model, the failure rate for retrieving the top 20 chunks was reduced by 67% (from 5.7% to 1.9%).

Comparison of failure rates using Contextual Embeddings alone and in combination with Contextual BM25.
Source: https://www.anthropic.com/news/contextual-retrieval

Comparison of failure rates with re-ranking.
Source: https://www.anthropic.com/news/contextual-retrieval

Example Implementation of Contextual Retrieval

Prompt Design Example

<document>  

{{Content of the entire document}}  

</document>  

Here are the chunks to be placed within the whole document.  

<chunk>  

{{Content of the chunk}}  

</chunk>  

Please describe a concise context to position this chunk within the whole document to improve its searchability. Provide only a concise context, nothing else.

This prompt instructs the LLM to analyze the content of both the entire document and the chunk, generating context that explains which part of the document the chunk refers to.

For example, if the entire document is a company’s annual performance report and the chunk is “Revenue for Q2 increased by 10% compared to the same period last year,” the LLM would generate context like, “This chunk refers to the section of the company’s annual performance report about Q2.”

Example Implementation of Contextual Retrieval

Below is a simplified example of Contextual Retrieval implementation using Python and LangChain. For more details, please refer to the example published by Anthropic.

from langchain.embeddings.openai import OpenAIEmbeddings

from langchain.vectorstores import Chroma

from langchain.llms import OpenAI

from langchain.chains import RetrievalQA

# Set OpenAI API key

import os

os.environ[“OPENAI_API_KEY”] = “YOUR_OPENAI_API_KEY”

# Initialize the embedding model and LLM

embeddings = OpenAIEmbeddings()

llm = OpenAI(temperature=0)

# Load the document and split into chunks

with open(“document.txt”, “r”) as f:

    document = f.read()

chunks = document.split(“\n\n”)  # Split by empty lines

# Generate contextual information for each chunk

contextualized_chunks = []

for chunk in chunks:

    context = llm(f”””

    <document>

    {{Content of the entire document}}

    </document>

    Here is the chunk to be placed within the whole document.

    <chunk>

    {{Content of the chunk}}

    </chunk>

    Please describe a concise context for positioning this chunk within the whole document to improve its searchability. Only provide the concise context.

    “””)

    contextualized_chunks.append(f”{context} {chunk}”)

# Save the chunks with contextual information into a vector database

db = Chroma.from_texts(contextualized_chunks, embeddings)

# Create a RetrievalQA chain

retriever = db.as_retriever()

qa = RetrievalQA.from_chain_type(llm=llm, chain_type=”stuff”, retriever=retriever)

# Input a query and retrieve the answer

query = “What were the company’s Q2 earnings?”

answer = qa.run(query)

# Output the answer

print(answer)

Code Explanation

  1. Necessary libraries are imported.
  2. The OpenAI API key is set.
  3. The embedding model and LLM are initialized.
  4. The document is loaded and split into chunks.
  5. Contextual information is generated for each chunk.
  6. The chunks with contextual information are saved into a vector database.
  7. A RetrievalQA chain is created.
  8. A query is inputted, and the corresponding answer is retrieved.
  9. The answer is output.

Applications and Future Outlook of Contextual Retrieval

Contextual Retrieval is an effective method for solving issues in traditional RAG, but it also presents some challenges:

  • Computation Cost: Since LLMs are used to generate contextual information, the computation cost may be higher compared to traditional RAG.
  • Latency: The additional processing required to generate contextual information may lead to slower response times.
  • Prompt Engineering: The quality of the contextual information generated by LLMs heavily depends on the design of the prompt. Effective prompt design is essential for generating appropriate contextual information.

Despite being a relatively new technology, Contextual Retrieval is already gaining attention from many companies and research institutions. For example, Google is considering incorporating Contextual Retrieval into its search engine ranking algorithms, and Microsoft is integrating this technology into the Bing search engine.

In the future, Contextual Retrieval is expected to be applied in various fields, including AI chatbots, question-answering systems, and machine translation. Moreover, as LLMs evolve, the accuracy of Contextual Retrieval will continue to improve with enhanced contextual understanding.

Article Author: Tomohide Kakeya

Representative Director of Scuti Inc.
After working in firmware development for digital SLR cameras and the design, implementation, and management of advertising systems, Tomohide Kakeya moved to Vietnam in 2012.

In 2015, he founded Scootie Inc. and has since been developing offshore business operations in Vietnam.

Recently, he has been focusing on system integration with ChatGPT and product development using generative AI. Additionally, as a personal hobby, he develops applications using OpenAI API and Dify.

Contextual Retrieval là gì: Phương pháp cải thiện độ chính xác của RAG

Xin chào, tôi là Kakeya, đại diện của Scuti.

Công ty chúng tôi cung cấp các dịch vụ như phát triển offshore và phát triển theo mô hình phòng thí nghiệm tại Việt Nam, chuyên về AI tạo sinh, cũng như tư vấn liên quan đến AI tạo sinh. Gần đây, chúng tôi đã nhận được nhiều yêu cầu về phát triển hệ thống tích hợp với AI tạo sinh.

Anthropic đã công bố một phương pháp mới gọi là “Contextual Retrieval,” nhằm nâng cao độ chính xác của việc truy xuất thông tin trong Retrieval-Augmented Generation (RAG).

Contextual Retrieval không chỉ sử dụng đối sánh từ khóa truyền thống và tìm kiếm ngữ nghĩa, mà còn hiểu sâu sắc ngữ cảnh của truy vấn và nhiệm vụ của người dùng để cung cấp thông tin chính xác và phù hợp hơn. Đặc biệt hiệu quả đối với các nhiệm vụ yêu cầu hiểu biết ngữ cảnh, như lập trình và câu hỏi kỹ thuật.

Bài viết này sẽ giới thiệu tổng quan về Contextual Retrieval.

Trước khi vào chủ đề chính, đối với những ai muốn kiểm tra AI tạo sinh là gì hoặc ChatGPT là gì, vui lòng tham khảo các bài viết sau.

Contextual Retrieval là gì?

Contextual Retrieval là một phương pháp cải thiện độ chính xác của tìm kiếm RAG bằng cách thêm thông tin ngữ cảnh vào các mảnh thông tin (chunks) được truy xuất từ kho kiến thức trong quá trình RAG.

Trong RAG, các tài liệu được chia thành các mảnh nhỏ để tạo ra các embeddings. Tuy nhiên, nếu các mảnh thiếu thông tin ngữ cảnh đủ, độ chính xác của việc tìm kiếm có thể giảm.

Contextual Retrieval giải quyết vấn đề này bằng cách thêm thông tin ngữ cảnh vào các mảnh trước khi tạo embeddings. Cụ thể, nó sử dụng các mô hình ngôn ngữ lớn (LLM) để tạo ra các giải thích ngữ cảnh ngắn gọn cho từng mảnh và thêm vào đầu mỗi mảnh.

Cơ chế hoạt động của Contextual Retrieval

Contextual Retrieval bao gồm các quy trình sau:

  • Chia tài liệu thành mảnh: Đầu tiên, tài liệu được chia thành các đơn vị có nghĩa (mảnh). Có nhiều phương pháp khác nhau để chia nhỏ, chẳng hạn như dựa trên số ký tự cố định, ranh giới câu, hoặc tiêu đề.
  • Tạo thông tin ngữ cảnh: Sử dụng LLM để tạo thông tin ngữ cảnh cho từng mảnh dựa trên nội dung của toàn bộ tài liệu. Ví dụ, nếu một mảnh có nội dung “So với quý trước, doanh thu của công ty đã tăng 3%”, LLM sẽ phân tích tài liệu và tạo ra ngữ cảnh như “Mảnh này lấy từ hồ sơ SEC của ACME cho quý 2 năm 2023. Doanh thu quý trước là… và lợi nhuận hoạt động là…”.
  • Thêm ngữ cảnh vào mảnh: Thông tin ngữ cảnh được tạo ra sẽ được thêm vào đầu của mỗi mảnh.
  • Tạo embeddings: Sử dụng mô hình embeddings để tạo embeddings cho các mảnh đã được thêm thông tin ngữ cảnh.

Ví dụ về việc chia mảnh trong RAG thông thường so với Contextual Retrieval

  • Chia mảnh trong RAG thông thường: Tài liệu được chia thành các mảnh dựa trên số ký tự cố định.

    • Mảnh 1: “ACME đã công bố kết quả quý 2 năm 2023. Doanh thu tăng 10% so với cùng kỳ năm trước…”

    • Mảnh 2: “…So với quý trước, doanh thu của công ty đã tăng 3%. Đây là…”

    • Mảnh 3: “…Doanh số bán sản phẩm mới đã tăng mạnh.”

  • Chia mảnh với Contextual Retrieval: Tài liệu được chia thành các mảnh và thêm thông tin ngữ cảnh.

    • Mảnh 1: “Mảnh này lấy từ hồ sơ SEC của ACME cho quý 2 năm 2023. Doanh thu quý trước là… và lợi nhuận hoạt động là… ACME đã công bố kết quả quý 2 năm 2023. Doanh thu tăng 10% so với cùng kỳ năm trước…”

    • Mảnh 2: “Mảnh này lấy từ hồ sơ SEC của ACME cho quý 2 năm 2023. Doanh thu quý trước là… và lợi nhuận hoạt động là… So với quý trước, doanh thu của công ty đã tăng 3%. Đây là…”

    • Mảnh 3: “Mảnh này lấy từ hồ sơ SEC của ACME cho quý 2 năm 2023. Doanh thu quý trước là… và lợi nhuận hoạt động là… Doanh số bán sản phẩm mới đã tăng mạnh.”

 

Bằng cách này, Contextual Retrieval làm rõ từng mảnh liên quan đến phần nào của tài liệu và cải thiện độ chính xác của việc tìm kiếm bằng cách làm nổi bật mối quan hệ của mảnh với nội dung xung quanh.

Sự khác biệt so với RAG thông thường

Trong RAG thông thường, embeddings được tạo ra chỉ từ văn bản của mảnh. Tuy nhiên, trong Contextual Retrieval, embeddings phản ánh cả văn bản của mảnh

Cơ Chế Tìm Kiếm Thông Tin Trong Contextual Retrieval

Contextual Embeddings và Contextual BM25

Trong Contextual Retrieval, quá trình tìm kiếm thông tin được thực hiện qua các bước sau để thu thập thông tin có liên quan cao một cách hiệu quả dựa trên truy vấn của người dùng:

  1. Phân Tích Truy Vấn: Truy vấn của người dùng được phân tích để trích xuất từ khóa, cụm từ và ý định tìm kiếm.
  2. Lấy Embedding: Dựa trên kết quả phân tích truy vấn, vector embedding tương ứng với truy vấn được tạo.
  3. Tính Toán Độ Tương Tự: Vector embedding của truy vấn được so sánh với các vector embedding của các mảnh (chunks) được lưu trữ trong cơ sở tri thức, và độ tương tự của chúng được tính toán.
  4. Chọn Lọc Các Mảnh: Dựa trên kết quả tính toán độ tương tự, các mảnh liên quan nhất được chọn từ những mảnh xếp hạng cao nhất.
  5. Trích Xuất Thông Tin: Thông tin phù hợp để trả lời truy vấn được trích xuất từ các mảnh đã chọn.
  6. Tạo Phản Hồi: Dựa trên thông tin đã trích xuất, phản hồi được tạo ra và gửi cho người dùng

Cơ chế RAG Truyền Thống
Nguồn: Hình minh họa được biên tập bởi tác giả và công bố tại https://www.anthropic.com/news/contextual-retrieval.

Tiền Xử Lý Trong Contextual Retrieval
Nguồn: Hình minh họa được biên tập bởi tác giả và công bố tại https://www.anthropic.com/news/contextual-retrieval.

Trong Contextual Retrieval, hai phương pháp—Contextual Embeddings và Contextual BM25—có thể được kết hợp để thực hiện việc tìm kiếm thông tin sử dụng ngữ cảnh.

  • Contextual Embeddings: Các embedding được tạo ra cho các mảnh đã thêm thông tin ngữ cảnh, sử dụng mô hình embedding. Điều này cho phép tìm kiếm dựa trên sự tương đồng về ngữ nghĩa.
  • Contextual BM25: BM25 là một phương pháp phổ biến trong việc tìm kiếm thông tin, chấm điểm mức độ liên quan của một tài liệu dựa trên sự trùng khớp giữa từ khóa của truy vấn và từ khóa trong tài liệu. Contextual BM25 áp dụng BM25 cho các mảnh có thêm thông tin ngữ cảnh, cho phép tìm kiếm không chỉ xét sự trùng khớp từ khóa mà còn xét đến thông tin ngữ cảnh.

Bằng cách kết hợp hai phương pháp này, cả sự tương đồng về ngữ nghĩa và sự trùng khớp từ khóa được đánh giá toàn diện để thu được kết quả tìm kiếm chính xác hơn.

Sự Kết Hợp Giữa Contextual Embeddings và Contextual BM25

Contextual Embeddings và Contextual BM25 phối hợp với nhau qua quy trình sau:

  1. Điểm số được tính toán cho truy vấn sử dụng cả Contextual Embeddings và Contextual BM25.
  2. Các điểm số này được tích hợp dựa trên trọng số được thiết lập trước.
  3. Dựa trên điểm số tích hợp, bảng xếp hạng các mảnh được tạo ra.

BM25 và TF-IDF

BM25 là phiên bản mở rộng của TF-IDF (Term Frequency-Inverse Document Frequency). TF-IDF tính toán tầm quan trọng của một từ trong tài liệu dựa trên tần suất xuất hiện của từ đó trong tài liệu (Tần Suất Xuất Hiện Từ) và nghịch đảo tần suất xuất hiện của từ đó trong các tài liệu khác (Tần Suất Xuất Hiện Từ Nghịch Đảo). BM25 cải tiến TF-IDF bằng cách xem xét thêm các yếu tố như độ dài của tài liệu và số từ trong truy vấn, giúp đạt được độ chính xác cao hơn khi chấm điểm.

Kết Quả Đánh Giá Hiệu Suất (Benchmark Results)

Anthropic đã đánh giá hiệu suất của Contextual Retrieval trên nhiều bộ dữ liệu khác nhau, bao gồm các cơ sở mã nguồn, tiểu thuyết, bài báo ArXiv, và các bài báo khoa học. Chỉ số đánh giá được sử dụng là recall@20, đo lường xem trong 20 mảnh hàng đầu có chứa tài liệu liên quan hay không.

Kết quả cho thấy Contextual Retrieval đã cải thiện độ chính xác của việc tìm kiếm so với RAG truyền thống:

  • Khi chỉ sử dụng Contextual Embeddings, tỷ lệ thất bại khi tìm kiếm 20 mảnh hàng đầu giảm 35% (từ 5.7% xuống 3.7%).
  • Khi kết hợp Contextual Embeddings và Contextual BM25, tỷ lệ thất bại giảm 49% (từ 5.7% xuống 2.9%).
  • Thêm vào đó, khi bổ sung một bước xếp hạng lại bằng mô hình của Cohere, tỷ lệ thất bại khi tìm kiếm 20 mảnh hàng đầu giảm 67% (từ 5.7% xuống 1.9%).

So sánh tỷ lệ thất bại của việc tìm kiếm khi chỉ sử dụng Contextual Embeddings và khi kết hợp với Contextual BM25.
Nguồn: https://www.anthropic.com/news/contextual-retrieval

So sánh tỷ lệ thất bại khi có xếp hạng lại.
Nguồn: https://www.anthropic.com/news/contextual-retrieval

Ví Dụ Về Việc Thực Hiện Contextual Retrieval

Ví dụ về thiết kế lời nhắc (Prompt Design Example)

<document>  

{{Nội dung của toàn bộ tài liệu}}  

</document>  

Dưới đây là các mảnh cần được đặt trong tài liệu.  

<chunk>  

{{Nội dung của mảnh}}  

</chunk>  

Hãy mô tả ngắn gọn ngữ cảnh để định vị mảnh này trong toàn bộ tài liệu nhằm cải thiện khả năng tìm kiếm của nó. Chỉ cung cấp ngữ cảnh ngắn gọn, không gì khác.  

Lời nhắc này hướng dẫn LLM phân tích nội dung của cả tài liệu và mảnh, tạo ra ngữ cảnh để giải thích phần nào của tài liệu mà mảnh đó đề cập đến.

Ví dụ, nếu toàn bộ tài liệu là báo cáo hiệu suất hàng năm của một công ty và mảnh chứa nội dung “Doanh thu của quý 2 đã tăng 10% so với cùng kỳ năm trước”, LLM sẽ tạo ngữ cảnh như, “Mảnh này đề cập đến phần trong báo cáo hiệu suất hàng năm của công ty về kết quả quý 2.”

Ví Dụ Về Việc Thực Hiện Contextual Retrieval

Dưới đây là một ví dụ thực hiện đơn giản về Contextual Retrieval sử dụng Python và LangChain. Để biết thêm chi tiết, vui lòng tham khảo ví dụ được công bố bởi Anthropic.

from langchain.embeddings.openai import OpenAIEmbeddings

from langchain.vectorstores import Chroma

from langchain.llms import OpenAI

from langchain.chains import RetrievalQA

# Đặt khóa API của OpenAI

import os

os.environ[“OPENAI_API_KEY”] = “YOUR_OPENAI_API_KEY”

# Khởi tạo mô hình embedding và LLM

embeddings = OpenAIEmbeddings()

llm = OpenAI(temperature=0)

# Tải tài liệu và chia thành các mảnh

with open(“document.txt”, “r”) as f:

    document = f.read()

chunks = document.split(“\n\n”)  # Chia thành các mảnh dựa trên dòng trống

# Tạo thông tin ngữ cảnh cho mỗi mảnh

contextualized_chunks = []

for chunk in chunks:

    context = llm(f”””

    <document>

    {{Nội dung của toàn bộ tài liệu}}

    </document>

    Đây là mảnh cần được đặt trong toàn bộ tài liệu.

    <chunk>

    {{Nội dung của mảnh}}

    </chunk>

    Hãy mô tả một ngữ cảnh ngắn gọn để định vị mảnh này trong toàn bộ tài liệu nhằm cải thiện khả năng tìm kiếm của nó. Chỉ cung cấp ngữ cảnh ngắn gọn.

    “””)

    contextualized_chunks.append(f”{context} {chunk}”)

# Lưu các mảnh đã có ngữ cảnh vào cơ sở dữ liệu vector

db = Chroma.from_texts(contextualized_chunks, embeddings)

# Tạo chuỗi RetrievalQA

retriever = db.as_retriever()

qa = RetrievalQA.from_chain_type(llm=llm, chain_type=”stuff”, retriever=retriever)

# Nhập truy vấn và lấy câu trả lời

query = “Kết quả quý 2 của công ty như thế nào?”

answer = qa.run(query)

# Xuất câu trả lời

print(answer)

Giải Thích Mã

  1. Các thư viện cần thiết được nhập.
  2. Đặt khóa API của OpenAI.
  3. Khởi tạo mô hình embedding và LLM.
  4. Tài liệu được tải và chia thành các mảnh.
  5. Thông tin ngữ cảnh được tạo cho mỗi mảnh.
  6. Các mảnh có thông tin ngữ cảnh được lưu vào cơ sở dữ liệu vector.
  7. Chuỗi RetrievalQA được tạo.
  8. Nhập truy vấn và lấy câu trả lời tương ứng.
  9. Xuất câu trả lời.

Các Ứng Dụng và Triển Vọng Tương Lai của Contextual Retrieval

Contextual Retrieval là một phương pháp hiệu quả để giải quyết các vấn đề mà RAG truyền thống gặp phải, nhưng nó cũng đặt ra một số thách thức:

  • Chi Phí Tính Toán: Do sử dụng LLM để tạo ra thông tin ngữ cảnh, chi phí tính toán có thể cao hơn so với RAG truyền thống.
  • Độ Trễ: Việc bổ sung xử lý tạo thông tin ngữ cảnh có thể làm chậm thời gian phản hồi.
  • Kỹ Thuật Thiết Kế Lời Nhắc (Prompt Engineering): Chất lượng của thông tin ngữ cảnh do LLM tạo ra phụ thuộc nhiều vào thiết kế của lời nhắc. Việc thiết kế lời nhắc hiệu quả là rất cần thiết để tạo ra thông tin ngữ cảnh phù hợp.

Mặc dù là một công nghệ còn tương đối mới, Contextual Retrieval đã thu hút sự chú ý của nhiều công ty và tổ chức nghiên cứu. Ví dụ, Google đang xem xét việc tích hợp công nghệ này vào các thuật toán xếp hạng của công cụ tìm kiếm, và Microsoft đang đưa công nghệ này vào công cụ tìm kiếm Bing.

Trong tương lai, Contextual Retrieval dự kiến sẽ được áp dụng trong nhiều lĩnh vực khác nhau, bao gồm chatbot AI, hệ thống hỏi đáp, và dịch máy. Hơn nữa, khi các mô hình ngôn ngữ lớn (LLM) tiếp tục phát triển, độ chính xác của Contextual Retrieval sẽ ngày càng được nâng cao nhờ khả năng hiểu ngữ cảnh sâu sắc hơn.

Tác Giả Bài Viết: Tomohide Kakeya

Giám Đốc Điều Hành Công Ty Cổ Phần Scuti.
Sau khi làm việc trong lĩnh vực phát triển firmware cho máy ảnh DSLR và thiết kế, triển khai, quản lý các hệ thống quảng cáo, Tomohide Kakeya đã chuyển đến Việt Nam vào năm 2012.

Năm 2015, ông thành lập Công ty Cổ phần Scootie và bắt đầu phát triển hoạt động kinh doanh offshore tại Việt Nam.

Gần đây, ông tập trung vào tích hợp hệ thống với ChatGPT và phát triển sản phẩm sử dụng AI sinh tạo. Ngoài ra, ông còn phát triển ứng dụng sử dụng OpenAI API và Dify như một sở thích cá nhân.