WebBrain Companion

Dùng các gói AI bạn đã đăng ký trong WebBrain

WebBrain Companion tồn tại trong thanh menu hoặc khay hệ thống của bạn. Đăng nhập vào Claude, ChatGPT, Google, Grok hoặc Kimi một lần và WebBrain tiếp cận tất cả chúng tại một địa chỉ trên máy tính của bạn. Khay hiển thị số lượng mỗi gói còn lại và thời điểm đặt lại.

Tải xuống Phiên bản 0.1.2 dành cho macOS, Windows và Linux. Nguồn mở và miễn phí.
Thực đơn đang bật

Mọi thứ khác diễn ra trong một bảng điều khiển nhỏ

Nhấp vào biểu tượng để mở nó. Một trang chứa địa chỉ của WebBrain, mọi gói còn lại và hai mô hình địa phương; nhấp vào một hàng để biết chi tiết về nó hoặc vào bánh răng để biết cài đặt. Nó tuân theo khung cảnh sáng hoặc tối của bạn và nói tiếng Anh và tiếng Thổ Nhĩ Kỳ.

  • Bảng điều khiển: địa chỉ http://127.0.0.1:8327/v1 với nút Sao chép, đồng hồ đo mức sử dụng cho Claude Max, ChatGPT Pro, Google AI Pro và SuperGrok và Bonsai 2 27B chạy bên cạnh mô hình quyết định d1.

    Một trang

    Địa chỉ mà WebBrain cần, mỗi gói có giới hạn gần hết nhất và các mẫu cục bộ có nút chính của chúng. Không có khóa API trên máy tính này.

  • Bảng bổ sung đăng ký liệt kê Claude, ChatGPT, Google, Grok và Kimi, mỗi bảng đều có cách bạn đăng nhập.

    Thêm đăng ký

    Đăng nhập trên trang riêng của nhà cung cấp. Việc đăng nhập vẫn còn trên máy tính của bạn.

  • Chi tiết về Bonsai 2 27B trên bảng điều khiển: chạy trên Apple GPU với đầu vào hình ảnh được bật, 65.536 mã thông báo ngữ cảnh và các tùy chọn của nó.

    Mô hình địa phương

    Nhấp vào Bonsai 2 27B để xem nó chạy ở đâu và liệu hình ảnh có phù hợp hay không và để thay đổi các tùy chọn của nó. d1 cũng mở theo cách tương tự.

Bonsai 2 27B, có kích thước phù hợp với máy của bạn

Ternary Bonsai 2 27B của PrismML chứa 27 tỷ thông số vào 5,95 GB. Người đồng hành cài đặt nó với máy chiếu thị giác Q8_0 và bản dựng llama.cpp của PrismML hoặc dưới dạng gói MLX trên Apple Silicon và liệt kê nó bên cạnh đăng ký của bạn là bonsai-2-27b.

Trước khi tải xuống bất cứ thứ gì, nó sẽ tìm ra nơi mô hình chạy và liệu hình ảnh đầu vào có phù hợp hay không. Máy chiếu thị giác hoạt động trên GPU khi còn lại khoảng 1 GB bộ nhớ GPU sau kiểu máy và ngữ cảnh của nó, trên CPU khi chỉ có hệ thống RAM còn chỗ trống và nếu không thì sẽ tắt. Bạn có thể ghi đè lựa chọn trong bảng điều khiển.

Người bạn đồng hành chọn gì trên các máy thông thường
MáyChạy tiếpĐầu vào hình ảnhBối cảnh
MacBook Air, 8GBApple GPU với Metal. Nó cần nhiều bộ nhớ hơn Mac, vì vậy hãy chờ đợi việc trao đổi.TắtMã thông báo 8K
MacBook Pro, 16 GBApple GPU với MetalBật, GPUMã thông báo 16K
Máy tính xách tay có RTX 4060 (8 GB) và 16 GB RAMCUDA, 57 trên 64 lớp trên GPUBật, CPUMã thông báo 8K
Máy tính để bàn có RTX 4090 (24 GB) và 64 GB RAMCUDA, tất cả đều có trên GPUBật, GPUMã thông báo 64K
Máy tính để bàn có Radeon RX 7600 (8 GB) và 32 GB RAMVulkan, 61 trên 64 lớp trên GPUBật, CPUMã thông báo 8K
PC không có card đồ họa, 16 GB RAMCPUBật, CPUMã thông báo 8K
PC không có card đồ họa, 8 GB RAMCPU, có rất ít chỗ trốngTắtMã thông báo 8K

Được người lập kế hoạch của người bạn đồng hành thực hiện từ bộ nhớ tổng thể và còn trống; các con số trên máy của bạn lúc cài đặt sẽ quyết định. Trên Apple Silicon, gói MLX có tháp tầm nhìn riêng nên hình ảnh luôn bật.

Mô hình quyết định của WebBrain, bên ngoài trình duyệt

Mô hình d1 của WebBrain trả lời các câu hỏi có/không, lựa chọn và cho điểm về một trang và tối đa bốn ảnh chụp màn hình, chẳng hạn như liệu một tác vụ đã hoàn thành hay chưa. Người bạn đồng hành chạy nó trên ONNX Runtime và trả lời qua HTTP, do đó, tab trình duyệt không phải tải 1,9 GB. Cổng Go của nó trả về các mã thông báo và xác suất giống như bộ điều hợp JavaScript của WebBrain. d1 gốc có sẵn trên máy Mac Windows, Linux và Apple Silicon; nó không có sẵn trên máy Mac Intel.

Hỏi

curl http://127.0.0.1:8327/companion/v1/decide \
  -H "Content-Type: application/json" \
  -d '{"state": "Order #1042 is confirmed.",
       "questions": {"completion": {
         "type": "choice",
         "instructions": "Did the task finish?",
         "criteria": {"completed": "Confirmed",
                      "not_completed": "Failed or unfinished",
                      "unknown": "Not established"}}}}'

Trả lời (273 ms trong thời gian chạy CPU)

{"answers": {"completion": {
   "choice": "completed",
   "confidence": 0.99997,
   "probabilities": {"completed": 0.99997,
                     "not_completed": 0.000002,
                     "unknown": 0.000033}}},
 "diagnostics": {"runtime": "onnxruntime 1.31.0 (CPU)", …}}

Kết nối WebBrain

Bạn làm điều này một lần. Ứng dụng trên máy tính này không cần khóa API.

  1. Cài đặt đồng hành và mở nó. Thêm đăng ký vào bảng điều khiển và hoàn tất đăng nhập trong trình duyệt của bạn.
  2. Địa chỉ mặc định là http://127.0.0.1:8327/v1. Nếu cổng thay đổi, hãy sao chép địa chỉ hiển thị trong menu bảng hoặc khay.
  3. Trong WebBrain, mở trang Providers (More… trong menu mẫu của bảng điều khiển bên) và chọn WebBrain Companion. Giữ địa chỉ mặc định của nó trừ khi ứng dụng hiển thị một cổng khác. Không cần khóa API trên máy tính này.
  4. Nhấp vào Tải mô hình, chọn một mô hình, Save và chạy Test Connection trước khi kích hoạt thẻ. Chỉ bật tầm nhìn cho mẫu máy chấp nhận hình ảnh.

Mọi máy khách OpenAI, Anthropic hoặc Gemini trên máy tính này đều có thể sử dụng cùng một địa chỉ. Để sử dụng nó từ một thiết bị khác, hãy bật quyền truy cập mạng trong cài đặt của bảng điều khiển; thiết bị đó sau đó cần có khóa API mà bảng điều khiển hiển thị.

Tải xuống

Phiên bản 0.1.2. Mỗi gói chứa một chương trình duy nhất; cài đặt và thông tin đăng nhập của bạn nằm trong thư mục người dùng của bạn.

macOS

macOS 12 trở lên, Apple Silicon và Intel (d1 yêu cầu Apple Silicon)

Hệ thống của bạn

Di chuyển WebBrain Companion sang Ứng dụng. Bản dựng không được Apple công chứng: lần đầu tiên, hãy cho phép nó trong Cài đặt hệ thống, Quyền riêng tư & Bảo mật (Vẫn mở). Trên macOS 14 trở về trước, hãy giữ Control khi nhấp vào nó và chọn Mở.

Windows

Windows 10 và 11, x64 và Arm64

Hệ thống của bạn

Chạy trình cài đặt: nó sẽ cài đặt cho tài khoản của bạn mà không cần lời nhắc của quản trị viên và thêm WebBrain Companion vào menu Bắt đầu. Cho đến khi trình cài đặt được ký mã, SmartScreen có thể nói "Windows đã bảo vệ PC của bạn": chọn Thông tin thêm, sau đó vẫn chạy.

Linux

x64 và Arm64

Hệ thống của bạn

Giải nén và chạy webbrain-companion. Biểu tượng cần có khay StatusNotifierItem: KDE, XFCE hoặc GNOME với phần mở rộng AppIndicator.

Trước khi bạn đăng nhập

Những gì còn lại trên máy tính của bạn

  • Trên máy tính này không cần khóa API: đồng hành chỉ trả lời các yêu cầu từ 127.0.0.1 và loại bỏ các trang web, vì vậy trang web bạn truy cập không thể sử dụng kế hoạch của bạn. Các tiện ích mở rộng của trình duyệt như WebBrain và các ứng dụng trên máy tính này có thể sử dụng nó.
  • Các thiết bị khác chỉ có thể kết nối nếu bạn bật quyền truy cập mạng trong cài đặt của bảng điều khiển. Sau đó, nó sẽ lắng nghe trên 0.0.0.0 và họ cần khóa API mà bảng điều khiển hiển thị.
  • Thông tin đăng nhập được lưu trữ trong thư mục người dùng của bạn và chỉ được gửi đến nhà cung cấp mà họ thuộc về.
  • Không có phân tích. Ngoài các nhà cung cấp mà bạn đăng nhập, nó chỉ tìm nạp danh sách mô hình công khai của CLIProxyAPI và khi bạn cài đặt một mô hình, các tệp của nó từ Hugging Face, GitHub và đối với MLX, PyPI.
  • Lời nhắc gửi tới gói đăng ký vẫn được chuyển đến nhà cung cấp đó. Chỉ Bonsai 2 27B và d1 chạy trên máy của bạn.

Nhà cung cấp của bạn quyết định điều gì

  • Đăng ký hoạt động thông qua proxy không giống với đăng ký mà nhà cung cấp cho phép. Các điều khoản dành cho người tiêu dùng của Anthropic hạn chế quyền truy cập tự động bên ngoài khóa API và các điều khoản Gemini CLI của Google cho biết tính năng đăng nhập của nó không thể được sử dụng với các công cụ của bên thứ ba.
  • Kiểm tra các điều khoản của gói và khu vực của bạn trước khi thêm nó. Nếu tài khoản quan trọng với bạn thì khóa API của nhà cung cấp là con đường an toàn hơn.
  • Tắt quyền truy cập mạng trên Wi-Fi công cộng và không bao giờ chuyển tiếp cổng 8327 sang internet. Khóa API không phải là bảo mật cấp Internet.

Kết nối WebBrain với Đồng hành