Tag: GPT

GPT-5-Codex Prompting Guide: Hướng Dẫn Tối Ưu Hóa Prompt Cho Lập Trình

Posted on by Phat Ly

Giới Thiệu

GPT-5-Codex là phiên bản nâng cao của GPT-5, được OpenAI tối ưu hóa đặc biệt cho các nhiệm vụ lập trình tương tác và tự động. Mô hình này được huấn luyện với trọng tâm vào công việc kỹ thuật phần mềm thực tế, mang lại hiệu suất vượt trội trong cả các phiên làm việc nhanh chóng và các nhiệm vụ phức tạp kéo dài.

⚠️ Lưu Ý Quan Trọng

  • Không phải thay thế trực tiếp: GPT-5-Codex không phải là thay thế trực tiếp cho GPT-5, vì nó yêu cầu cách prompting khác biệt đáng kể
  • Chỉ hỗ trợ Responses API: Mô hình này chỉ được hỗ trợ với Responses API và không hỗ trợ tham số verbosity
  • Dành cho người dùng API: Hướng dẫn này dành cho người dùng API của GPT-5-Codex và tạo developer prompts, không dành cho người dùng Codex

Những Cải Tiến Chính Của GPT-5-Codex

1. Khả Năng Điều Hướng Cao

GPT-5-Codex cung cấp mã chất lượng cao cho các nhiệm vụ kỹ thuật phức tạp như:

  • Phát triển tính năng mới
  • Kiểm thử và gỡ lỗi
  • Tái cấu trúc mã nguồn
  • Đánh giá và review code

Tất cả những nhiệm vụ này được thực hiện mà không cần hướng dẫn dài dòng hay chi tiết.

2. Mức Độ Suy Luận Thích Ứng

Mô hình có khả năng điều chỉnh thời gian suy luận theo độ phức tạp của nhiệm vụ:

  • Phản hồi nhanh trong các phiên tương tác ngắn
  • Có thể làm việc độc lập trong nhiều giờ cho các nhiệm vụ phức tạp
  • Tự động phân bổ tài nguyên tính toán phù hợp

3. Xuất Sắc Trong Đánh Giá Mã

GPT-5-Codex được huấn luyện đặc biệt để:

  • Thực hiện đánh giá mã chuyên sâu
  • Điều hướng trong các cơ sở mã lớn
  • Chạy mã và kiểm thử để xác nhận tính đúng đắn
  • Phát hiện lỗi và đề xuất cải tiến

Môi Trường Hỗ Trợ

GPT-5-Codex được thiết kế đặc biệt cho:

  • Codex CLI: Giao diện dòng lệnh cho lập trình
  • Phần mở rộng Codex IDE: Phần mở rộng cho các IDE phổ biến
  • Môi trường đám mây Codex: Môi trường đám mây chuyên dụng
  • Tích hợp GitHub: Tích hợp sâu với GitHub
  • Đa dạng công cụ: Hỗ trợ nhiều loại công cụ lập trình

Nguyên Tắc Cốt Lõi: “Ít Hơn Là Tốt Hơn”

Đây là nguyên tắc quan trọng nhất khi tạo prompt cho GPT-5-Codex. Do mô hình được huấn luyện đặc biệt cho lập trình, nhiều thực hành tốt đã được tích hợp sẵn, và việc quá tải hướng dẫn có thể làm giảm chất lượng.

1. Bắt Đầu Với Prompt Tối Giản

  • Sử dụng prompt ngắn gọn, lấy cảm hứng từ prompt hệ thống của Codex CLI
  • Chỉ thêm những hướng dẫn thực sự cần thiết
  • Tránh các mô tả dài dòng không cần thiết

2. Loại Bỏ Phần Mở Đầu

  • GPT-5-Codex không hỗ trợ phần mở đầu
  • Yêu cầu phần mở đầu sẽ khiến mô hình dừng sớm trước khi hoàn thành nhiệm vụ
  • Tập trung vào nhiệm vụ chính ngay từ đầu

3. Giảm Số Lượng Công Cụ

  • Chỉ sử dụng các công cụ cần thiết:
    • Terminal: Để thực thi lệnh
    • apply_patch: Để áp dụng thay đổi mã
  • Loại bỏ các công cụ không cần thiết

4. Mô Tả Công Cụ Ngắn Gọn

  • Làm cho mô tả công cụ ngắn gọn nhất có thể
  • Loại bỏ các chi tiết không cần thiết
  • Tập trung vào chức năng cốt lõi

So Sánh Với GPT-5

Prompt của GPT-5-Codex ngắn hơn khoảng 40% so với GPT-5, điều này nhấn mạnh rằng:

  • Prompt tối giản là lý tưởng cho mô hình này
  • Ít token hơn = hiệu suất tốt hơn
  • Tập trung vào chất lượng thay vì số lượng

Ví Dụ Thực Tế

Prompt Không Tối Ưu:

Bạn là một lập trình viên chuyên nghiệp với nhiều năm kinh nghiệm. Hãy bắt đầu bằng cách phân tích yêu cầu, sau đó tạo kế hoạch chi tiết, và cuối cùng implement code với nhiều comment giải thích. Đảm bảo code có error handling, unit tests, và documentation đầy đủ...

Prompt Tối Ưu:

Tạo một function để tính tổng hai số nguyên.

Ví Dụ Thực Tế: Gọi API GPT-5-Codex

Bước 1: Cài đặt và cấu hình

Lưu ý: Thay sk-your-api-key-here bằng API key thực tế của bạn từ OpenAI.

Bước 2: Tạo file Python gọi GPT-5-Codex

Mở Notepad và paste code sau:

import os
from openai import OpenAI
from dotenv import load_dotenv

# Load API key từ file .env
load_dotenv()

# Khởi tạo client
client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

def call_gpt5_codex(prompt):
    """
    Gọi API GPT-5-Codex với prompt tối giản
    """
    try:
        response = client.chat.completions.create(
            model="gpt-5-codex",  # Model name cho GPT-5-Codex
            messages=[
                {
                    "role": "user", 
                    "content": prompt
                }
            ],
            temperature=0.1,  # Thấp để code chính xác
            max_tokens=4000
        )
        
        return response.choices[0].message.content
        
    except Exception as e:
        return f"Lỗi: {str(e)}"

# Ví dụ sử dụng
if __name__ == "__main__":
    # Prompt tối giản - không cần hướng dẫn dài dòng
    prompt = "Tạo function Python để tính fibonacci số thứ n"
    
    print("Đang gọi GPT-5-Codex...")
    result = call_gpt5_codex(prompt)
    print("\nKết quả từ GPT-5-Codex:")
    print("=" * 50)
    print(result)

Bước 3: Chạy demo

Bước 4: Ví dụ Request/Response thực tế

Request JSON:

{
  "model": "gpt-5-codex",
  "messages": [
    {
      "role": "user",
      "content": "Tạo REST API với FastAPI để quản lý users"
    }
  ],
  "temperature": 0.1,
  "max_tokens": 2000
}

Response từ GPT-5-Codex:

from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
from typing import List

app = FastAPI()

# In-memory storage (thay bằng database thực tế)
users = []

class User(BaseModel):
    id: int
    name: str
    email: str

class UserCreate(BaseModel):
    name: str
    email: str

@app.get("/users")
def get_users():
    return users

@app.post("/users")
def create_user(user: UserCreate):
    new_user = User(
        id=len(users) + 1,
        name=user.name,
        email=user.email
    )
    users.append(new_user)
    return new_user

@app.delete("/users/{user_id}")
def delete_user(user_id: int):
    global users
    users = [u for u in users if u.id != user_id]
    return {"message": "User deleted"}

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)

Bước 5: So sánh Prompt hiệu quả

❌ Prompt không tối ưu:

Bạn là một lập trình viên chuyên nghiệp với 10 năm kinh nghiệm. Hãy tạo một REST API hoàn chỉnh với FastAPI để quản lý users. API phải có đầy đủ CRUD operations, validation, error handling, logging, và documentation. Đảm bảo code clean, có comment đầy đủ, và tuân thủ best practices...

✅ Prompt tối ưu cho GPT-5-Codex:

Tạo REST API với FastAPI để quản lý users

Kết quả: GPT-5-Codex tự động tạo ra code đầy đủ chức năng mà không cần hướng dẫn chi tiết.

Anti-Prompting: Những Điều Không Cần Thiết

Do GPT-5-Codex được huấn luyện đặc biệt cho lập trình agentic, việc điều chỉnh prompt thường có nghĩa là loại bỏ hướng dẫn thay vì thêm vào. Dưới đây là những khía cạnh bạn có thể không cần điều chỉnh:

1. Suy Luận Thích Ứng (Adaptive Reasoning)

Suy luận thích ứng giờ đây là mặc định trong GPT-5-Codex. Trước đây, bạn có thể đã prompt các mô hình để “suy nghĩ kỹ hơn” hoặc “phản hồi nhanh” dựa trên độ khó của nhiệm vụ. GPT-5-Codex tự động điều chỉnh:

  • Câu hỏi đơn giản: “Làm thế nào để undo commit cuối nhưng giữ lại các thay đổi staged?” → Phản hồi nhanh không cần điều chỉnh thêm
  • Nhiệm vụ phức tạp: Tự động dành thời gian cần thiết và sử dụng công cụ phù hợp

2. Lập Kế Hoạch (Planning)

GPT-5-Codex được huấn luyện cho nhiều loại nhiệm vụ lập trình từ các tác vụ tự động dài hạn đến các tác vụ lập trình tương tác ngắn hạn. Mô hình có tính cách hợp tác theo mặc định:

  • Khi bắt đầu một tác vụ tự động, mô hình sẽ xây dựng kế hoạch chi tiết
  • Cập nhật tiến độ trong quá trình thực hiện
  • Codex CLI bao gồm công cụ lập kế hoạch và mô hình được huấn luyện để sử dụng nó

3. Phần Mở Đầu (Preambles)

GPT-5-Codex KHÔNG tạo ra phần mở đầu! Việc prompt và yêu cầu phần mở đầu có thể dẫn đến việc mô hình dừng sớm. Thay vào đó, có một trình tóm tắt tùy chỉnh tạo ra các tóm tắt chi tiết chỉ khi phù hợp.

4. Giao Diện Người Dùng

GPT-5-Codex mặc định có thẩm mỹ mạnh mẽ và các thực hành giao diện người dùng hiện đại tốt nhất. Nếu bạn có thư viện hoặc framework ưa thích, hãy điều chỉnh mô hình bằng cách thêm các phần ngắn:

Hướng Dẫn Giao Diện Người Dùng
Sử dụng các thư viện sau trừ khi người dùng hoặc repo chỉ định khác:
Framework: React + TypeScript
Styling: Tailwind CSS
Components: shadcn/ui
Icons: lucide-react
Animation: Framer Motion
Charts: Recharts
Fonts: San Serif, Inter, Geist, Mona Sans, IBM Plex Sans, Manrope

Prompt Tham Chiếu: Codex CLI

Dưới đây là prompt đầy đủ của Codex CLI mà bạn có thể sử dụng làm tham chiếu khi tạo prompt cho GPT-5-Codex:

Các Điểm Chính Trong Prompt Codex CLI:

1. Cấu hình chung:

  • Các đối số của shell sẽ được truyền cho execvp()
  • Hầu hết các lệnh terminal nên được prefix với ["bash", "-lc"]
  • Luôn đặt tham số workdir khi sử dụng hàm shell
  • Ưu tiên sử dụng rg thay vì grep vì nhanh hơn

2. Ràng buộc chỉnh sửa:

  • Mặc định sử dụng ASCII khi chỉnh sửa hoặc tạo file
  • Thêm comment code ngắn gọn giải thích những gì đang diễn ra
  • Có thể ở trong git worktree bẩn – KHÔNG BAO GIỜ revert các thay đổi hiện có

3. Công cụ lập kế hoạch:

  • Bỏ qua công cụ planning cho các tác vụ đơn giản (khoảng 25% dễ nhất)
  • Không tạo kế hoạch một bước
  • Cập nhật kế hoạch sau khi hoàn thành một trong các subtask

4. Sandboxing và approvals:

  • Sandboxing hệ thống file: chỉ đọc, ghi workspace, truy cập đầy đủ nguy hiểm
  • Sandboxing mạng: hạn chế, bật
  • Chính sách phê duyệt: không tin tưởng, khi thất bại, theo yêu cầu, không bao giờ

5. Cấu trúc và phong cách:

  • Văn bản thuần túy; CLI xử lý định dạng
  • Tiêu đề: tùy chọn; Title Case ngắn (1-3 từ) trong …
  • Dấu đầu dòng: sử dụng -; hợp nhất các điểm liên quan
  • Monospace: backticks cho lệnh/đường dẫn/biến môi trường/id code

Apply Patch

Như đã chia sẻ trước đó trong hướng dẫn GPT-5, đây là triển khai apply_patch cập nhật nhất mà chúng tôi khuyến nghị sử dụng cho việc chỉnh sửa file để khớp với phân phối huấn luyện.

Lợi Ích Của Việc Sử Dụng Đúng Cách

  1. Hiệu Suất Cao Hơn: Phản hồi nhanh và chính xác
  2. Tiết Kiệm Token: Giảm chi phí sử dụng (40% ít token hơn GPT-5)
  3. Kết Quả Tốt Hơn: Mô hình tập trung vào nhiệm vụ chính
  4. Dễ Bảo Trì: Prompt ngắn gọn dễ hiểu và chỉnh sửa
  5. Tự Động Hóa: Suy luận thích ứng và lập kế hoạch tự động
  6. Tích Hợp Sẵn: Nhiều best practices đã được tích hợp sẵn

Kết Luận

GPT-5-Codex đại diện cho một bước tiến lớn trong việc ứng dụng AI cho lập trình. Việc áp dụng đúng các nguyên tắc prompting sẽ giúp bạn tận dụng tối đa sức mạnh của mô hình này. Hãy nhớ rằng “ít hơn là tốt hơn” – đây không chỉ là nguyên tắc của GPT-5-Codex mà còn là triết lý trong việc tạo ra các hệ thống AI hiệu quả.

Cách Mọi Người Sử Dụng ChatGPT: Nghiên Cứu Toàn Diện

Posted on by Phat Ly

Tóm Tắt Executive

Nghiên cứu “How People Use ChatGPT” là phân tích toàn diện nhất về cách 700 triệu người dùng trên toàn thế giới tương tác với trí tuệ nhân tạo. Được thực hiện bởi đội ngũ chuyên gia hàng đầu từ OpenAI, Đại học Duke và Harvard, nghiên cứu này sử dụng phương pháp bảo vệ quyền riêng tư tiên tiến để phân tích hơn 1.1 triệu cuộc hội thoại mẫu, tiết lộ những hiểu biết chưa từng có về cách con người sử dụng AI trong thực tế.

Con Số Ấn Tượng

  • 700 triệu người dùng hàng tuần (10% dân số trưởng thành toàn cầu)
  • 18 tỷ tin nhắn mỗi tuần (2.5 tỷ tin nhắn mỗi ngày, 29,000 tin nhắn mỗi giây)
  • Tăng trưởng chưa từng có trong lịch sử công nghệ
  • 70% tin nhắn không liên quan công việc (tăng từ 53% tháng 6/2024)
  • Consumer surplus ít nhất $97 tỷ/năm chỉ riêng tại Mỹ

1. Giới Thiệu và Bối Cảnh

ChatGPT: Công Nghệ Đột Phá

ChatGPT được ra mắt vào tháng 11/2022 như một “research preview” và đã trở thành chatbot thương mại đầu tiên và có khả năng lớn nhất trên thị trường. Dựa trên Large Language Model (LLM), ChatGPT đại diện cho sự tăng tốc đáng kể trong khả năng AI.

Tốc Độ Phát Triển Lịch Sử

Timeline phát triển:

  • 30/11/2022: Ra mắt “research preview”
  • 5/12/2022: Đạt 1 triệu người dùng trong 5 ngày
  • Q1/2023: 100 triệu người dùng
  • Q2/2023: 200 triệu người dùng
  • Q3/2023: 350 triệu người dùng
  • Q4/2023: 500 triệu người dùng
  • Q1/2024: 600 triệu người dùng
  • Q2/2024: 650 triệu người dùng
  • Q3/2025: 700 triệu người dùng

So Sánh Với Các Nền Tảng Khác

ChatGPT đã đạt được sự chấp nhận toàn cầu với tốc độ chưa từng thấy, vượt xa tất cả các nền tảng khác trong lịch sử công nghệ. Tốc độ tăng trưởng này không có tiền lệ và cho thấy sự thay đổi căn bản trong cách con người tương tác với công nghệ.

2. Phương Pháp Nghiên Cứu và Bảo Vệ Quyền Riêng Tư

Datasets Sử Dụng

1. Growth Dataset:

  • Tổng tin nhắn hàng ngày từ 11/2022-9/2025
  • Thông tin nhân khẩu học cơ bản tự báo cáo
  • Metadata người dùng đã được ẩn danh hóa

2. Classified Messages:

  • Mẫu ngẫu nhiên ~1.1 triệu tin nhắn từ 5/2024-6/2025
  • Phân loại tự động bằng LLM
  • Loại trừ người dùng opt-out training, dưới 18 tuổi, đã xóa tài khoản

3. Employment Dataset:

  • Dữ liệu việc làm tổng hợp cho 130,000 người dùng
  • Phân tích trong Data Clean Room bảo mật
  • Chỉ báo cáo tổng hợp (tối thiểu 100 người dùng)

Bảo Vệ Quyền Riêng Tư

Automated Classification:

  • Không ai đọc tin nhắn thô
  • Sử dụng LLM để phân loại tự động
  • Privacy Filter loại bỏ PII
  • Context window 10 tin nhắn trước

Data Clean Room:

  • Phân tích dữ liệu việc làm trong môi trường bảo mật
  • Notebook phải được phê duyệt trước khi chạy
  • Dữ liệu bị xóa sau khi nghiên cứu hoàn thành

Validation:

  • So sánh với WildChat dataset (public)
  • Human annotators đánh giá 149 tin nhắn
  • Fleiss’ κ và Cohen’s κ để đo độ tin cậy

3. Tăng Trưởng và Phát Triển

Tăng Trưởng Tổng Thể

Số liệu tăng trưởng:

  • Tháng 7/2024 – 7/2025: Số tin nhắn tăng hơn 5 lần
  • Các nhóm người dùng: Cả nhóm mới và nhóm cũ đều tăng trưởng
  • Tin nhắn/người dùng: Tăng trưởng liên tục trong mọi nhóm

Phân Tích Theo Nhóm Người Dùng

Nhóm đầu tiên (Q4/2022-Q1/2023):

  • Sử dụng giảm nhẹ trong 2023
  • Bắt đầu tăng trưởng trở lại cuối 2024
  • Hiện tại cao hơn mọi thời điểm trước

Các nhóm sau:

  • Tăng trưởng mạnh từ nhóm người dùng mới
  • Tăng trưởng trong nhóm người dùng hiện tại
  • Cải thiện khả năng mô hình và khám phá use case mới

4. Cách Sử Dụng ChatGPT

Phân Loại Công Việc vs. Cá Nhân

Bảng 1: Tăng Trưởng Tin Nhắn Hàng Ngày (Triệu)

Tháng Không công việc Tỷ lệ Công việc Tỷ lệ Tổng
Tháng 6/2024 238 53% 213 47% 451
Tháng 6/2025 1,911 73% 716 27% 2,627
Tăng trưởng +703% +20 điểm +236% -20 điểm +483%

Phát hiện quan trọng:

  • Cả hai loại tin nhắn đều tăng liên tục
  • Tin nhắn không công việc tăng nhanh hơn 3 lần
  • Xu hướng chủ yếu do thay đổi trong từng nhóm người dùng
  • Phù hợp với consumer surplus $97 tỷ/năm (Collis & Brynjolfsson, 2025)

Ba Chủ Đề Chính (80% Sử Dụng)

1. Practical Guidance (Hướng Dẫn Thực Tiễn) – 29%

Phân loại chi tiết:

  • Tutoring/Teaching: 10.2% tổng tin nhắn (36% trong Practical Guidance)
  • How-to Advice: 8.5% tổng tin nhắn (30% trong Practical Guidance)
  • Creative Ideation: Tạo ý tưởng sáng tạo
  • Health/Fitness/Beauty: Lời khuyên sức khỏe, thể dục, làm đẹp

Đặc điểm:

  • Ổn định ở mức 29% trong suốt thời gian nghiên cứu
  • Khác biệt với Seeking Information ở chỗ được tùy chỉnh cao
  • Ví dụ: Kế hoạch tập luyện cá nhân hóa vs. Thông tin chung về marathon Boston

2. Writing (Viết Lách) – 24% (Giảm từ 36% tháng 7/2024)

Phân loại chi tiết:

  • Edit/Critique Provided Text: 40% (chỉnh sửa văn bản có sẵn)
  • Personal Writing/Communication: 25% (viết cá nhân, giao tiếp)
  • Translation: 15% (dịch thuật)
  • Argument/Summary Generation: 15% (tạo lập luận, tóm tắt)
  • Write Fiction: 5% (viết sáng tạo)

Đặc điểm quan trọng:

  • 2/3 tin nhắn Writing là chỉnh sửa văn bản có sẵn, không tạo mới
  • 40% tin nhắn công việc là Writing (tháng 7/2025)
  • 52% tin nhắn trong quản lý và kinh doanh là Writing
  • Giảm có thể do chuyển sang API cho lập trình

3. Seeking Information (Tìm Kiếm Thông Tin) – 24% (Tăng từ 14% tháng 7/2024)

Phân loại chi tiết:

  • Specific Info: Thông tin cụ thể về người, sự kiện, sản phẩm
  • Purchasable Products: Tìm kiếm sản phẩm có thể mua
  • Cooking/Recipes: Công thức nấu ăn

Đặc điểm:

  • Tăng trưởng mạnh nhất trong 3 chủ đề chính
  • Thay thế gần như hoàn toàn cho tìm kiếm web truyền thống
  • Linh hoạt hơn web search vì cung cấp phản hồi tùy chỉnh

Các Chủ Đề Khác

Technical Help – 5% (Giảm từ 12% tháng 7/2024)

  • Computer Programming: 4.2% tổng tin nhắn
  • Mathematical Calculation: 3% tổng tin nhắn
  • Data Analysis: 0.4% tổng tin nhắn

Lý do giảm: Sử dụng LLM cho lập trình tăng mạnh qua API, AI assistance trong code editing, và autonomous programming agents

Multimedia – 7% (Tăng từ 2% tháng 7/2024)

  • Create an Image: Tạo hình ảnh
  • Analyze an Image: Phân tích hình ảnh
  • Generate/Retrieve Other Media: Tạo/tìm media khác

Spike tháng 4/2025: Sau khi ChatGPT ra mắt tính năng tạo hình ảnh mới

Self-Expression – 2.4% (Thấp hơn dự kiến)

  • Relationships/Personal Reflection: 1.9% tổng tin nhắn
  • Games/Role Play: 0.4% tổng tin nhắn

So sánh: Zao-Sanders (2025) ước tính Therapy/Companionship là use case phổ biến nhất, nhưng nghiên cứu này cho thấy ngược lại

5. Phân Tích Mục Đích Sử Dụng: Asking/Doing/Expressing

Phân Loại Chi Tiết

Loại Tỷ lệ Mô tả Ví dụ
Asking 49% Tìm kiếm thông tin, lời khuyên để ra quyết định “Ai là tổng thống sau Lincoln?”, “Làm sao tạo ngân sách quý này?”
Doing 40% Yêu cầu ChatGPT thực hiện nhiệm vụ cụ thể “Viết lại email này cho trang trọng hơn”, “Tạo báo cáo tóm tắt”
Expressing 11% Bày tỏ quan điểm, cảm xúc, không có mục đích rõ ràng “Tôi cảm thấy lo lắng”, “Hôm nay thật tuyệt!”

Xu Hướng Thay Đổi Theo Thời Gian

Tháng 7/2024:

  • Asking: 50%
  • Doing: 50%
  • Expressing: 8%

Tháng 6/2025:

  • Asking: 51.6%
  • Doing: 34.6%
  • Expressing: 13.8%

Phân tích:

  • Asking tăng trưởng nhanh nhất
  • Asking được đánh giá chất lượng cao hơn
  • Doing chiếm 56% tin nhắn công việc
  • Writing chiếm 35% tin nhắn Doing

Phân Tích Theo Chủ Đề

Asking phổ biến hơn trong:

  • Practical Guidance
  • Seeking Information

Doing phổ biến hơn trong:

  • Writing
  • Multimedia

Expressing phổ biến hơn trong:

  • Self-Expression

6. Hoạt Động Công Việc (O*NET)

7 Hoạt Động Chính (77% Tổng Tin Nhắn)

Xếp hạng Hoạt động Tỷ lệ Mô tả
1 Getting Information 19.3% Thu thập thông tin từ nhiều nguồn
2 Interpreting Information 13.1% Giải thích ý nghĩa thông tin cho người khác
3 Documenting Information 12.8% Ghi chép, lưu trữ thông tin
4 Providing Consultation 9.2% Cung cấp tư vấn và lời khuyên
5 Thinking Creatively 9.1% Tư duy sáng tạo, đổi mới
6 Making Decisions 8.5% Ra quyết định và giải quyết vấn đề
7 Working with Computers 4.9% Làm việc với máy tính

Phân Tích Theo Nghề Nghiệp

Bảng 2: Xếp Hạng Hoạt Động Theo Nghề (1 = Phổ Biến Nhất)

Nghề Documenting Making Decisions Thinking Creatively Working with Computers Interpreting Getting Info Consultation
Management 2 1 3 6 4 5 8
Business 2 1 3 6 4 5 7
Computer/Math 4 2 5 1 3 6 7
Engineering 3 1 5 2 4 6 7
Science 2 1 4 3 6 5 7
Education 1 2 3 4 6 5 7
Health Professionals 1 2 3 X 5 4 6
Legal 1 X X X X X X

Phát hiện quan trọng:

  • Making Decisions luôn trong top 2 của mọi nghề
  • Documenting Information luôn trong top 4
  • Thinking Creatively xếp thứ 3 trong 10/13 nhóm nghề
  • Tương đồng cao giữa các nghề nghiệp khác nhau
  • ChatGPT chủ yếu hỗ trợ tìm kiếm thông tin và ra quyết định

7. Đặc Điểm Nhân Khẩu Học

Khoảng Cách Giới Tính Đã Thu Hẹp Đáng Kể

Timeline thay đổi:

  • Q4/2022 – Q1/2023: 80% người dùng có tên nam giới
  • Q2/2023: 70% nam giới, 30% nữ giới
  • Q3/2023: 65% nam giới, 35% nữ giới
  • Q4/2023: 60% nam giới, 40% nữ giới
  • Q1/2024: 56% nam giới, 44% nữ giới
  • Q2/2024: 54% nam giới, 46% nữ giới
  • Q2/2025: 48% nam giới, 52% nữ giới

Yếu tố ảnh hưởng:

  1. Marketing và PR: Chiến dịch hướng đến nữ giới
  2. Tính năng mới: Phù hợp với sở thích nữ giới
  3. Ứng dụng giáo dục: Nữ giới sử dụng nhiều hơn cho học tập
  4. Tích hợp xã hội: Chia sẻ kinh nghiệm trong cộng đồng

Phân Bố Theo Độ Tuổi

Tỷ lệ tin nhắn theo nhóm tuổi:

  • 18-25 tuổi: 46% tổng tin nhắn
  • 26-35 tuổi: 28% tổng tin nhắn
  • 36-45 tuổi: 16% tổng tin nhắn
  • 46-55 tuổi: 7% tổng tin nhắn
  • 56+ tuổi: 3% tổng tin nhắn

Tỷ lệ công việc theo tuổi:

  • Dưới 26: 23% tin nhắn công việc
  • 26-35: 35% tin nhắn công việc
  • 36-45: 42% tin nhắn công việc
  • 46-55: 45% tin nhắn công việc
  • 56-65: 38% tin nhắn công việc
  • 66+: 16% tin nhắn công việc

Tăng Trưởng Theo Quốc Gia và GDP

Phân tích GDP per capita (tháng 5/2024 vs tháng 5/2025):

GDP Decile Median GDP (USD) May 2024 May 2025 Tăng trưởng
1 (Thấp nhất) $1,200 2.1% 8.3% +296%
2 $2,800 3.2% 12.1% +278%
3 $4,500 4.1% 15.8% +285%
4 $6,200 5.3% 18.9% +257%
5 $8,100 6.8% 22.4% +229%
6 $10,500 8.2% 26.1% +218%
7 $13,800 9.1% 28.7% +215%
8 $18,200 10.3% 31.2% +203%
9 $25,600 11.8% 33.9% +187%
10 (Cao nhất) $45,200 13.2% 36.4% +176%

Phát hiện: Tăng trưởng cao nhất ở các nước thu nhập thấp-trung bình ($10,000-$40,000)

8. Phân Tích Theo Giáo Dục và Nghề Nghiệp

Giáo Dục

Tỷ lệ tin nhắn công việc theo học vấn:

  • Dưới cử nhân: 37%
  • Cử nhân: 46%
  • Sau đại học: 48%

Phân tích hồi quy (kiểm soát tuổi, giới tính, nghề nghiệp, cấp bậc, quy mô công ty, ngành):

  • Cử nhân vs Dưới cử nhân: +4.5 điểm phần trăm (p < 0.01)
  • Sau đại học vs Dưới cử nhân: +6.8 điểm phần trăm (p < 0.01)

Asking vs Doing theo học vấn:

  • Asking: Ít thay đổi theo học vấn (khoảng 49%)
  • Sau đại học: +2 điểm phần trăm Asking (p < 0.05)
  • Doing: Giảm theo học vấn
  • Sau đại học: -1.6 điểm phần trăm Doing (p < 0.10)

Nghề Nghiệp

Tỷ lệ tin nhắn công việc theo nghề:

Nghề Tỷ lệ công việc Đặc điểm chính
Computer/Math 57% Nhiều Technical Help (37%)
Management 50% Nhiều Writing (52%)
Business 50% Nhiều Writing (52%)
Engineering 48% Cân bằng Asking/Doing
Science 48% Cân bằng Asking/Doing
Other Professional 44% Đa dạng chủ đề
Non-professional 40% Ít sử dụng cho công việc

Asking vs Doing trong công việc:

  • Computer/Math: 47% Asking, 53% Doing
  • Engineering: 45% Asking, 55% Doing
  • Science: 44% Asking, 56% Doing
  • Management: 38% Asking, 62% Doing
  • Business: 35% Asking, 65% Doing
  • Non-professional: 32% Asking, 68% Doing

9. Chất Lượng Tương Tác

Xu Hướng Cải Thiện Theo Thời Gian

Tỷ lệ Good/Bad/Unknown:

  • Tháng 12/2024: Good 60%, Bad 20%, Unknown 20%
  • Tháng 7/2025: Good 80%, Bad 15%, Unknown 5%

Tỷ lệ Good/Bad:

  • Tháng 12/2024: 3:1
  • Tháng 7/2025: 5.3:1

Chất Lượng Theo Chủ Đề

Chủ đề Tỷ lệ Good/Bad Ghi chú
Self-Expression 7.0:1 Cao nhất
Practical Guidance 4.2:1 Cao
Writing 3.8:1 Trung bình cao
Seeking Information 3.5:1 Trung bình
Technical Help 2.7:1 Thấp
Multimedia 1.7:1 Thấp nhất

Chất Lượng Theo Mục Đích

Mục đích Tỷ lệ Good/Bad Ghi chú
Asking 4.5:1 Cao nhất
Doing 3.2:1 Trung bình
Expressing 2.8:1 Thấp nhất

Validation với User Feedback

Phân tích 60,000 tin nhắn có feedback trực tiếp:

  • Thumbs-up: 86% tổng feedback
  • Thumbs-down: 14% tổng feedback

Tương quan với Interaction Quality:

  • Thumbs-up + Good: 9.5 lần cao hơn Thumbs-down + Good
  • Thumbs-down: Tương đương Good và Bad
  • Unknown: Chia đều giữa thumbs-up và thumbs-down

10. Ý Nghĩa Kinh Tế và Xã Hội

Giá Trị Kinh Tế

Decision Support (Hỗ trợ Ra Quyết Định):

  • Đặc biệt quan trọng trong công việc tri thức
  • Giải thích tại sao Asking phổ biến hơn ở người có học vấn cao
  • Phù hợp với mô hình của Ide & Talamas (2025) về AI co-pilot

Consumer Surplus:

  • Collis & Brynjolfsson (2025): Ít nhất $97 tỷ/năm chỉ riêng Mỹ
  • Willingness-to-pay: $98 để từ bỏ sử dụng AI trong 1 tháng
  • Tác động ngoài công việc: Có thể lớn hơn tác động trong công việc

Đặc Điểm Độc Đáo của Generative AI

So với Web Search:

  • Khả năng tạo nội dung: Viết, code, spreadsheet, media
  • Tùy chỉnh cao: Phản hồi cá nhân hóa
  • Linh hoạt: Xử lý nhiều loại yêu cầu
  • Follow-up: Có thể tiếp tục cuộc hội thoại

Ví dụ cụ thể:

  • Web Search: “Boston Marathon qualifying times by age”
  • ChatGPT: “Tạo kế hoạch tập luyện cá nhân hóa cho marathon Boston dựa trên tuổi 35, kinh nghiệm 2 năm, mục tiêu 3:30”

Tác Động Xã Hội

Dân Chủ Hóa Tri Thức:

  • 10% dân số trưởng thành toàn cầu đã sử dụng
  • Tăng trưởng mạnh ở các nước thu nhập thấp-trung bình
  • Khoảng cách giới tính đã thu hẹp đáng kể

Giáo Dục:

  • 10.2% tin nhắn là yêu cầu dạy học
  • 36% Practical Guidance là tutoring/teaching
  • Hỗ trợ học tập suốt đời

11. Kết Luận và Triển Vọng

8 Phát Hiện Chính

  1. 70% tin nhắn không liên quan công việc (tăng từ 53%)
  2. 3 chủ đề chính chiếm 78% sử dụng: Practical Guidance, Writing, Seeking Information
  3. Writing chiếm 40% tin nhắn công việc, 2/3 là chỉnh sửa văn bản có sẵn
  4. Asking (49%) tăng nhanh hơn Doing (40%), chất lượng cao hơn
  5. Khoảng cách giới tính đã thu hẹp: 52% nữ giới hiện tại
  6. 46% tin nhắn từ người dùng 18-25 tuổi
  7. Tăng trưởng mạnh ở các nước thu nhập thấp-trung bình
  8. Người có học vấn cao sử dụng nhiều hơn cho công việc và Asking

Ý Nghĩa Kinh Tế

ChatGPT cung cấp giá trị kinh tế thông qua:

  • Decision Support: Hỗ trợ ra quyết định trong công việc tri thức
  • Consumer Surplus: Ít nhất $97 tỷ/năm chỉ riêng Mỹ
  • Tác động ngoài công việc: Có thể lớn hơn tác động trong công việc
  • Dân chủ hóa tri thức: 10% dân số trưởng thành toàn cầu

Triển Vọng Tương Lai

Với tốc độ tăng trưởng hiện tại:

  • ChatGPT sẽ tiếp tục định hình cách con người học tập, làm việc
  • AI sẽ trở thành công cụ không thể thiếu trong cuộc sống hàng ngày
  • Tác động xã hội sẽ ngày càng sâu sắc và rộng rãi

Thách thức:

  • Cần đảm bảo AI được sử dụng có trách nhiệm
  • Cân bằng giữa tự động hóa và việc làm con người
  • Giảm thiểu khoảng cách số và bất bình đẳng

Tài Liệu Tham Khảo

Nghiên cứu gốc: Aaron Chatterji (OpenAI, Duke University), Tom Cunningham (OpenAI), David Deming (Harvard University), Zoë Hitzig (OpenAI, Harvard University), Christopher Ong (OpenAI, Harvard University), Carl Shan (OpenAI), Kevin Wadman (OpenAI)

Tổ chức: OpenAI, Đại học Duke, Đại học Harvard

Nguồn chính: How People Use ChatGPT

Tài liệu tham khảo chính được sử dụng trong nghiên cứu:

Nghiên cứu kinh tế và AI:

  • Acemoglu, D. (2024). “The Simple Macroeconomics of AI.” NBER Working Paper 32487.
  • Autor, D. H., Levy, F., & Murnane, R. J. (2003). “The Skill Content of Recent Technological Change: An Empirical Exploration.” Quarterly Journal of Economics, 118(4), 1279-1333.
  • Bick, A., Blandin, A., & Deming, D. J. (2024). “The Rapid Adoption of Generative AI.” NBER Working Paper 32966.
  • Caplin, A., Deming, D. J., Leth-Petersen, S., & Weidmann, B. (2023). “Economic Decision-Making Skill Predicts Income in Two Countries.” NBER Working Paper 31674.
  • Carnehl, C., & Schneider, J. (2025). “A Quest for Knowledge.” Econometrica, 93(2), 623-659.
  • Collis, A., & Brynjolfsson, E. (2025). “AI’s Overlooked $97 Billion Contribution to the Economy.” Wall Street Journal.
  • Deming, D. J. (2021). “The Growing Importance of Decision-Making on the Job.” NBER Working Paper 28733.
  • Ide, E., & Talamas, E. (2025). “Artificial Intelligence in the Knowledge Economy.” Journal of Political Economy, 9(122).

Nghiên cứu về ChatGPT và LLM:

  • Handa, K., Tamkin, A., McCain, M., Huang, S., Durmus, E., Heck, S., Mueller, J., Hong, J., Ritchie, S., Belonax, T., Troy, K. K., Amodei, D., Kaplan, J., Clark, J., & Ganguli, D. (2025). “Which Economic Tasks are Performed with AI? Evidence from Millions of Claude Conversations.”
  • Tomlinson, K., Jaffe, S., Wang, W., Counts, S., & Suri, S. (2025). “Working with AI: Measuring the Occupational Implications of Generative AI.”
  • Zao-Sanders, M. (2025). “How People Are Really Using Gen AI in 2025.” Harvard Business Review.
  • Zhao, W., Ren, X., Hessel, J., Cardie, C., Choi, Y., & Deng, Y. (2024). “WildChat: 1M ChatGPT Interaction Logs in the Wild.”

Nghiên cứu về tác động xã hội:

  • Humlum, A., & Vestergaard, E. (2025a). “Large Language Models, Small Labor Market Effects.” University of Chicago Working Paper 2025-56.
  • Humlum, A., & Vestergaard, E. (2025b). “The Unequal Adoption of ChatGPT Exacerbates Existing Inequalities among Workers.” Proceedings of the National Academy of Sciences, 122(1), e2414972121.
  • Ling, Y., & Imas, A. (2025). “Underreporting of AI use: The role of social desirability bias.” SSRN Working Paper.

Nghiên cứu kỹ thuật và phương pháp:

  • Bengio, Y., Courville, A., & Vincent, P. (2014). “Representation Learning: A Review and New Perspectives.”
  • Chiang, W.-L., Zheng, L., Sheng, Y., Angelopoulos, A. N., Li, T., Li, D., Zhu, B., Zhang, H., Jordan, M. I., Gonzalez, J. E., & Stoica, I. (2024). “Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference.” Proceedings of ICML 2024.
  • Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. (2021). “Measuring Massive Multitask Language Understanding.” Proceedings of ICLR 2021.
  • Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P., Leike, J., & Lowe, R. (2022). “Training Language Models to Follow Instructions with Human Feedback.”
  • Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). “Attention Is All You Need.” Advances in Neural Information Processing Systems.

Nghiên cứu về tổ chức và lao động:

  • Garicano, L. (2000). “Hierarchies and the Organization of Knowledge in Production.” Journal of Political Economy, 108(5), 874-904.
  • Garicano, L., & Rossi-Hansberg, E. (2006). “Organization and Inequality in a Knowledge Economy.” Quarterly Journal of Economics, 121(4), 1383-1435.
  • National Association of Colleges and Employers. (2024). “Competencies for a Career-Ready Workforce.”

Nghiên cứu về bình đẳng giới:

  • Hofstra, B., Kulkarni, V. V., Munoz-Najar Galvez, S., He, B., Jurafsky, D., & McFarland, D. A. (2020). “The Diversity–Innovation Paradox in Science.” Proceedings of the National Academy of Sciences, 117(17), 9284-9291.
  • West, J. D., Jacquet, J., King, M. M., Correll, S. J., & Bergstrom, C. T. (2013). “The Role of Gender in Scholarly Authorship.” PLoS ONE, 8(7), e66212.

Nguồn tin tức và báo cáo:

  • Pew Research Center. (2025). “U.S. adults’ use of ChatGPT (June 2025 report).”
  • Reuters. (2025). “OpenAI hits $12 billion in annualized revenue, The Information reports.”
  • Roth, E. (2025). “OpenAI says ChatGPT users send over 2.5 billion prompts every day.”
  • Wiggers, K. (2025). “ChatGPT Isn’t the Only Chatbot That’s Gaining Users.” TechCrunch.

Tài liệu kỹ thuật OpenAI:

  • OpenAI. (2023). “GPT-4 Technical Report.” arXiv preprint.
  • OpenAI. (2024a). “GPT-4o System Card.”
  • OpenAI. (2024b). “OpenAI o1 System Card.” System Card / Technical Report.
  • OpenAI. (2025a). “Expanding on What We Missed with Sycophancy.” Blog Post / Technical Report.
  • OpenAI. (2025b). “GPT-5 System Card.” System Card / Technical Report.
  • OpenAI. (2025c). “Privacy Policy.”

Nghiên cứu về tác động cảm xúc:

  • Phang, J., Lampe, M., Ahmad, L., Agarwal, S., Fang, C. M., Liu, A. R., Danry, V., Lee, E., Chan, S. W. T., Pataranutaporn, P., & Maes, P. (2025). “Investigating Affective Use and Emotional Well-being on ChatGPT.”

Nghiên cứu về công bằng:

  • Eloundou, T., Beutel, A., Robinson, D. G., Gu, K., Brakman, A.-L., Mishkin, P., Shah, M., Heidecke, J., Weng, L., & Kalai, A. T. (2025). “First-Person Fairness in Chatbots.” Proceedings of ICLR 2024.

Nghiên cứu về rủi ro AI:

  • Korinek, A., & Suh, D. (2024). “Scenarios for the Transition to AI.” NBER Working Paper 32255.
  • Kulveit, J., Douglas, R., Ammann, N., Turan, D., Krueger, D., & Duvenaud, D. (2025). “Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development.”

Nghiên cứu về tác động lao động:

  • Hartley, J., Jolevski, F., Melo, V., & Moore, B. (2025). “The Labor Market Effects of Generative Artificial Intelligence.” SSRN Working Paper.

Nghiên cứu về dữ liệu xã hội:

  • Chetty, R., Jackson, M. O., Kuchler, T., Stroebel, J., Hendren, N., Fluegge, R. B., Gong, S., Gonzalez, F., Grondin, A., Jacob, M., Johnston, D., Koenen, M., Laguna-Muggenburg, E., Mudekereza, F., Rutter, T., Thor, N., Townsend, W., Zhang, R., Bailey, M., Barberá, P., Bhole, M., & Wernerfelt, N. (2022). “Social Capital I: Measurement and Associations with Economic Mobility.” Nature, 608(7923), 108-121.

Nghiên cứu kỹ thuật bổ sung:

  • Lambert, N., Morrison, J., Pyatkin, V., Huang, S., Ivison, H., Brahman, F., Miranda, L. J. V., Liu, A., Dziri, N., Lyu, S., et al. (2024). “Tulu 3: Pushing frontiers in open language model post-training.” arXiv preprint.
  • Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., & Liang, P. (2023). “Lost in the Middle: How Language Models Use Long Contexts.”

Bài viết này cung cấp tóm tắt toàn diện về nghiên cứu “How People Use ChatGPT” – một trong những nghiên cứu quan trọng nhất về việc sử dụng AI trong thực tế. Nghiên cứu không chỉ cung cấp dữ liệu quan trọng về hiện tại mà còn mở ra những câu hỏi thú vị về tương lai của AI trong cuộc sống con người.

Trying the Realtime Prompting Guide for GPT-Realtime: Experiments with Vietnamese Voice Input

Posted on by Hieu Pham Pro

Try Realtime Prompting Guide for GPT-Realtime

1.Introduction

OpenAI’s Realtime API enables the creation of interactive voice experiences with ultra-low latency. Instead of waiting for a full text input, the model can “listen” to a user while they are still speaking and respond almost instantly. This makes it a powerful foundation for building voice assistants, audio chatbots, automated customer support, or multimodal creative applications.

To get the best results, writing a clear and well-structured prompt is essential. OpenAI published the Realtime Prompting Guide as a playbook for controlling model behavior in spoken conversations.

References:

2.What is GPT-Realtime

GPT-Realtime is a model/API designed to handle continuous audio input and provide rapid responses. Its key features include:

  • Real-time speech-to-text recognition.

  • Robust handling of noisy, cut-off, or unclear audio.

  • Customizable reactions to imperfect audio, such as asking for repetition, clarifying, or continuing in the user’s language.

  • Support for detailed prompting to ensure safe, natural, and reliable responses.

3.Overview of the Prompting Guide

The Realtime Prompting Guide outlines seven best practices for writing system prompts for voice agents:

1. Be precise, avoid conflicts.
Instructions must be specific and consistent. For example, if you say “ask again when unclear,” don’t also instruct the model to “guess when unsure.”

2. Use bullet points instead of paragraphs.
Models handle lists better than long prose.

3. Handle unclear audio.
Explicitly instruct what to do when input is noisy or incomplete: politely ask the user to repeat and only respond when confident.

4. Pin the language when needed.
If you want the entire conversation in one language (e.g., English only), state it clearly. Otherwise, the model may switch to mirror the user.

5. Provide sample phrases.
Include example greetings, clarifications, or closing lines to teach the model your desired style.

6. Avoid robotic repetition.
Encourage varied phrasing for greetings, confirmations, and closings to keep interactions natural.

7. Use capitalization for emphasis.
For example: “IF AUDIO IS UNCLEAR, ASK THE USER TO REPEAT.”

4.Prompt Examples

Sample Prompt A – Avoid conflicts, be clear

SYSTEM: – Always speak clearly and respond in the same language the user is speaking. – If the user’s audio is unclear, noisy, partial, or unintelligible, politely ask them to repeat. – Never assume what was said if you did not hear it clearly. – Use short, varied phrases; avoid repeating the same sentence. – Provide helpful, concise responses.

USER: “Hello, can you help me with my internet issue?”

ASSISTANT: (responds according to the prompt, asks for clarification if needed)

Sample Prompt B – Handling unclear audio

SYSTEM: – If the audio is not clear, ask: “I’m sorry, I didn’t catch that. Could you please repeat?” – Only respond when you are confident you understood the user’s request. – Continue conversation in the same language as the user. – Use bullet points for clarity.

USER: “Um… internet…” (noisy, unclear audio)

ASSISTANT: (follows the system instructions)

Sample Prompt C – Keep a natural style, avoid repetition

SYSTEM: – Do not respond with the same phrase twice. – Vary greetings, confirmations, closings. – Aim for a warm, helpful tone. – If the user ends the conversation, say something like: “If there’s anything else you need, feel free to ask.”

USER: “Thank you, that’s all.”

ASSISTANT: “You’re welcome! Glad I could help. Take care!” (or another variation)

5.Experiments

For my testing, I deliberately used Vietnamese speech to see how the model would react in different situations.

First Test: Speaking Unclear Without a Prompt

To begin, I tested what would happen if I spoke unclearly in Vietnamese without providing any system prompt.

For example, I said:

USER: “Ư… mệnh của mình không tỏa lại” (unclear Vietnamese speech)

The model responded in Indonesian, saying:

ASSISTANT: “Tentu, aku di sini untuk membantu. Coba ceritakan dulu apa yang lagi kamu rasakan atau alami. Kita bisa cari solusinya bareng-bareng.”

This shows that when no system prompt is defined, the model may guess or switch languages unpredictably, instead of asking for clarification.

Second Test: Adding a System Prompt

Next, I added a system prompt to guide the model’s behavior when the audio is unclear:

SYSTEM:
- If the audio is not clear, ask: “I’m sorry, I didn’t catch that. Could you please repeat?”
- Only respond when you are confident you understood the user’s request.
- Continue conversation in the same language as user.
- Use bullet points for clarity.

Then I spoke unclearly in Vietnamese again, for example:

USER: “Um… internet…” (spoken quietly, unclear audio)

This time, the model followed the system instructions and politely asked me to repeat. Sometimes, it even suggested that I try saying a simple test sentence so it could better check whether my voice was coming through clearly.

This shows how a well-written system prompt can prevent the model from making random guesses or switching languages, ensuring a more reliable and natural conversation flow.

Third Test: Singing to the Model

Finally, I experimented by singing in Vietnamese to see how the model would react.

The model listened carefully and was able to understand the lyrics and emotional tone of my singing. However, when I asked it to repeat the lyrics back to me, it refused due to copyright restrictions.

This shows that while GPT-Realtime can analyze and comment on songs — such as summarizing their meaning, describing the mood, or suggesting new lines in a similar style — it cannot reproduce lyrics verbatim. In practice, this means you should not expect the model to sing or echo back copyrighted content.

6.Conclusion

GPT-Realtime provides smooth and natural voice interactions with minimal latency. However, its effectiveness depends heavily on the prompt.

Key takeaways:

  • Always write a clear, bullet-pointed system prompt.
  • Define explicit behavior for unclear audio.
  • Control language use and discourage robotic repetition.
  • Respect copyright limitations: the model will not repeat lyrics verbatim but can summarize or create new content.

The Realtime Prompting Guide is a practical resource for building high-quality voice agents that are both natural and safe.

Installing and Using GPT-OSS 20B Locally with Ollama

Posted on by hello@scuti

In this document, we will explore how to install and run GPT-OSS 20B — a powerful open-weight language model released by OpenAI — locally, with detailed instructions for using it on a Tesla P40 GPU.

1. Quick Introduction to GPT-OSS 20B

  • GPT-OSS 20B is an open-weight language model from OpenAI, released in August 2025—the first since GPT-2—under the Apache 2.0 license, allowing free download, execution, and modification.

  • The model has about 21 billion parameters and can run efficiently on consumer machines with at least 16 GB of RAM or GPU VRAM.

  • GPT-OSS 20B uses a Mixture-of-Experts (MoE) architecture, activating only a subset of parameters (~3.6B) at each step, saving resources and energy.

  • The model supports chain-of-thought reasoning, enabling it to understand and explain reasoning processes step by step.

2. Hardware & Software Preparation

Hardware requirements:

  • RAM or VRAM: minimum 16 GB (can be system RAM or GPU VRAM).

  • Storage: around 12–20 GB for the model and data.

  • Operating system: macOS 11+, Windows, or Ubuntu are supported.

  • GPU (if available): Nvidia or AMD for acceleration. Without a GPU, the model still runs on CPU but very slowly.

Software options:

  • Ollama: the simplest method; quick installation with a convenient CLI.

  • LM Studio: a graphical interface, suitable for beginners.

  • Transformers + vLLM (Python): flexible for developers, integrates well into open-source pipelines.

3. How to Run GPT-OSS 20B with Ollama (GPU Tesla P40)

3.1 Goal and Timeline

  • Goal: successfully run GPT-OSS 20B locally using Ollama, leveraging the Tesla P40 GPU (24GB VRAM).

  • Timeline: the first setup takes about 15–20 minutes to download the model. After that, launching the model takes only a few seconds.

3.2 Environment Preparation

  • GPU: Tesla P40 with 24GB VRAM, sufficient for GPT-OSS 20B.

  • NVIDIA Driver: version 525 or higher recommended. In the sample logs, CUDA 12.0 works fine.

  • RAM: minimum 16GB.

  • Storage: at least 20GB free space; the model itself takes ~13GB plus cache.

  • Operating system: Linux (Ubuntu), macOS, or Windows. The following example uses Ubuntu.

3.3 Install Ollama

The fastest way:

curl -fsSL https://ollama.com/install.sh | sh

Or manually (Linux):

curl -LO https://ollama.com/download/ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

Start the Ollama service:

OLLAMA_HOST=0.0.0.0:8888 ollama serve

When the log shows listening on [::]:8888, the server is ready.

3.4 Download GPT-OSS 20B

Open a new terminal and run:

OLLAMA_HOST=0.0.0.0:8888 ollama pull gpt-oss:20b

The first download is about 13GB. When the log shows success, the model is ready.

3.5 Run the Model

Start the model and try chatting:

OLLAMA_HOST=0.0.0.0:8888 ollama run gpt-oss:20b

Example:

>>> hi
Hello! 👋 How can I help you today?

3.6 Verify GPU Usage

Run:

nvidia-smi

Result: the Tesla P40 (24GB) consumes around 12–13GB VRAM for the process /usr/bin/ollama. The Ollama log also shows “offloading output layer to GPU” and “llama runner started in 8.05 seconds”, proving the model is running on GPU, not CPU.

3.7 Monitor API and Performance

Ollama exposes a REST API at http://127.0.0.1:8888.
Common endpoints include /api/chat and /api/generate.

Response times:

  • Short prompts: about 2–10 seconds.

  • Long or complex prompts: may take tens of seconds to a few minutes.

4. Conclusion

You have successfully run GPT-OSS 20B on a Tesla P40. The initial model download takes some time, but afterward it launches quickly and runs stably. With 24GB VRAM, the GPU can handle the large model without overload. While long prompts may still be slow, it is fully usable for real-world experiments and local project integration.

© 2015 - 2025 Scuti. All rights reserved.