知差（chai）

月度归档： 2023 年 10 月

  • XAgent：面向复杂任务解决的自主智能体

    XAgent 是一个开源的基于大型语言模型（LLM）的自主智能体，能够自动解决各种任务。它旨在成为一个通用的智能体，应用于各种任务。尽管 XAgent 目前仍处于早期阶段，我们正在不断努力改进它。

    我们的目标是创建一个可以解决任何给定任务的超级智能体。我们欢迎全职、兼职等各种形式的合作。如果您对智能体的前沿感兴趣，并希望加入我们实现真正的自主智能体，欢迎与我们联系。

    XAgent 特点

    XAgent 具有以下特点：

    • 自主性：XAgent 可以在没有人类参与的情况下自动解决各种任务。
    • 安全性：XAgent 被设计为安全运行。所有的行为都被限制在一个 Docker 容器内，不用担心您的主机环境受到影响。
    • 可扩展性：XAgent 被设计为可扩展的。您可以轻松地添加新的工具来增强智能体的能力，甚至是新的智能体！
    • GUI：XAgent 为用户提供了友好的 GUI 来与智能体交互。您也可以使用命令行界面与智能体交互。
    • 与人类的合作：XAgent 可以与您合作解决任务。它不仅有能力在行进中遵循您的指导来解决复杂的任务，而且在遇到挑战时还可以寻求您的帮助。

    工具服务器

    工具服务器为 XAgent 提供强大和安全的工具来解决任务的服务器。它是一个 Docker 容器，为 XAgent 提供一个安全的运行环境。目前，工具服务器提供以下工具：

    • 文件编辑器：提供一个文本编辑工具，可以写入、读取和修改文件。
    • Python笔记本：提供一个交互式的 Python 笔记本，可以运行 Python 代码来验证想法、绘制图形等。
    • 网页浏览器：提供一个网页浏览器，可以搜索和访问网页。
    • Shell：提供一个 bash shell 工具，可以执行任何 shell 命令，甚至安装程序和托管服务。
    • Rapid API：提供一个从 Rapid API 检索 API 并调用它们的工具，为 XAgent 提供了广泛的 API。

    快速开始

    首先，您需要安装 Docker 和 docker-compose。然后，您需要构建工具服务器的镜像。在 ToolServer 目录下，运行以下命令：

    cd ToolServer
docker-compose up

    这将构建工具服务器的镜像并启动工具服务器的容器。如果您想在后台运行容器，请使用 docker-compose up -d。

    在启动 ToolServer 后，您可以配置并运行 XAgent。首先，安装依赖项：

    pip install -r requirements.txt

    然后，您需要使用 config.yml 配置 XAgent 才能运行。请提供至少一个 OpenAI key，用于访问 OpenAI API。

    最后，运行 XAgent：

    python run.py --task "put your task here" --model "gpt-4"

    您可以使用参数 --upload_files 来指定提交给 XAgent 的文件。

    案例

    我们提供了一些使用 XAgent 解决任务的案例。您可以在 XAgent 官网上查看我们的在线演示。我们还提供了视频演示和使用 XAgent 的案例。

    案例1. 数据分析：展示双环机制的有效性

    在这个案例中，我们将展示 XAgent 如何利用双环机制来解决数据分析任务。我们将使用一个简单的数据集 iris.zip 上传到 XAgent，然后让 XAgent 分析数据集并生成一个报告。XAgent 将任务分解为 4 个子任务：数据理解，验证 Python 环境，编写数据分析代码，编写报告。

    案例2. 推荐：展示与人类的合作

    XAgent 拥有独特的能力，可以积极寻求人类协助并共同解决问题，持续重新定义着人类与智能体人合作的界限。如下方截图所示，用户寻求了 XAgent 的帮助，以推荐一些适合友好聚会的优秀餐厅，但未提供具体细节。识别到提供的信息不足，XAgent 利用了“请求人类帮助”工具，促使人类介入以获取用户的偏好位置、预算限制、烹饪偏好以及任何饮食限制。凭借这宝贵的反馈信息，XAgent 轻松地生成了定制的餐厅推荐，确保用户及其朋友们获得了个性化和令人满意的体验。

    案例3. 训练模型：高级工具使用者

    XAgent 不仅能处理琐碎任务，还可以在复杂任务中提供宝贵的帮助，比如模型训练。在这里，我们展示了一个用户希望分析电影评论并评估特定电影周围公众情感的情景。作为回应，XAgent 迅速启动了下载 IMDB 数据集的过程，以训练一款先进的 BERT 模型。拥有了这个训练有素的 BERT 模型，XAgent 能够轻松地应对电影评论的复杂细节，提供关于公众对各种电影看法的见解性预测。

    评测

    我们进行了人类偏好评估，以评估 XAgent 的性能。我们为评估准备了超过 50 个现实世界的复杂任务，可以分为 5 个类别：搜索与报告，编码与开发，数据分析，数学和生活助手。我们将 XAgent 的结果与 AutoGPT 进行比较，结果显示 XAgent 完全胜过 AutoGPT。

    博客

    我们的官方博客在这里！

    引用

    如果您发现我们的仓库对您有帮助，希望您能引用我们的论文：

    @misc{xagent2023,
      title={XAgent: An Autonomous Agent for Complex Task Solving}, 
      author={XAgent Team},
      year={2023},
}

    以上就是 XAgent 的详细介绍和使用案例，希望对您有所帮助。

  • vLLM：让大型模型推理更快的工具

    今天，我要给大家介绍一款名为vLLM的神奇工具。它的主要功能是加速大型语言模型（如OpenAI的GPT-3）的推理速度。如果你是NLP（自然语言处理）领域的研究员或开发者，我相信这个工具可能会对你的工作有所帮助。

    为什么我们需要vLLM？

    在大规模语言模型运行时，我们常常遇到一个问题：显存不足。这是因为在生成新的单词或者词语（token）时，我们需要存储一些称为 keys 和 values的数据（我们可以把它们看作是模型用来生成新token的”记忆”）在GPU的显存中。然而，这些数据通常非常大，而且大小也会不断变化，这使得显存管理变得困难。传统的管理方式往往会造成显存的60%-80%的浪费。

    这就是vLLM要解决的问题。它引入了一种名为PagedAttention的新技术，可以有效地管理这些keys和values，使得显存的使用效率接近最优（浪费比例低于4%）。这样一来，我们就可以使用更大的数据批次进行运算，从而提高GPU的并行计算能力。

    vLLM的核心技术：PagedAttention

    PagedAttention的工作原理受到了操作系统中虚拟内存和分页的启发。它将每个序列的数据划分为块，每个块包含固定数量的keys和values。这些块不需要连续的内存，因此可以更灵活地对它们进行管理。

    此外，PagedAttention还支持内存共享，也就是说，当用一个提示生成多个不同的序列时，可以共享计算量和显存。这种内存共享机制可以大幅降低显存需求（最高可降低55%），从而进一步提升推理速度。

    如何使用vLLM？

    vLLM的使用非常简单。首先，使用pip命令安装vLLM：

    pip install vllm

    然后，你就可以使用vLLM来生成文本了：

    from vllm import LLM

prompts = ["Hello, my name is", "The capital of France is"]  # 提示
llm = LLM(model="lmsys/vicuna-7b-v1.3")  # 创建一个LLM
outputs = llm.generate(prompts)  # 从提示生成文本

    vLLM也支持在线服务。你可以使用以下命令启动一个在线服务：

    python -m vllm.entrypoints.openai.api_server --model lmsys/vicuna-7b-v1.3

    然后，你就可以通过HTTP请求来调用这个服务了：

    curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "lmsys/vicuna-7b-v1.3",
        "prompt": "San Francisco is a",
        "max_tokens": 7,
        "temperature": 0
    }'

    如果你对vLLM感兴趣，可以在这里查阅更多信息。希望这个工具能对你的工作或学习有所帮助！

  • 使用Devilbox简化本地开发：Docker化的PHP堆栈

    Devilbox是一个现代化且高度可定制的PHP开发堆栈，基于Docker运行。它为所有主要操作系统提供可重现和相同的开发环境，无需任何配置。无论您是在开发LAMP还是MEAN堆栈，Devilbox都可以轻松切换和组合所需的版本以供本地开发使用。通过自动创建虚拟主机（vhost）、SSL证书和DNS记录，Devilbox支持无限数量的项目。在本文中，我们将探讨Devilbox的功能以及它如何简化本地开发。

    简单安装和设置：
    安装Devilbox非常简单。只需克隆Devilbox存储库并配置环境文件即可。Devilbox适用于包括Linux、macOS和Windows在内的所有主要操作系统。完成设置后，您可以使用一个命令启动所有容器。

    精确运行所需的内容：
    Devilbox提供了灵活性，可以选择所需的守护程序及其版本。您可以轻松配置Apache、Nginx、PHP、MySQL、MariaDB、Percona、PgSQL、Redis、Memcached、MongoDB等。这样，您可以在开发过程中准确模拟生产环境。

    附加服务和工具：
    除了默认堆栈之外，Devilbox还提供了其他一些可以轻松启用和启动的服务。这些服务包括Python（Flask）、Blackfire、ELK、MailHog、Ngrok、RabbitMQ、Solr、HAProxy、Varnish等等。您可以仅启动所需的容器，并在堆栈运行时添加或删除守护程序。

    邮件拦截和自动DNS：
    Devilbox包含一个内置的postfix邮件服务器，可以拦截所有发出的电子邮件，确保您在开发过程中不会意外发送真实的电子邮件。自动DNS功能会自动为每个项目提供正确的DNS记录，无需手动编辑主机文件。

    用户友好的内部网络和安全性：
    Devilbox配有一个用户友好的内部网络，提供有用的工具，如容器健康监控、DNS状态、可用的虚拟主机、电子邮件、数据库和有效的配置。安全性也是一个重要考虑因素，Devilbox使用官方Docker映像和自定义映像的混合方式。所有集成的容器都可以在GitHub上进行查看。

    始终更新和活跃的社区：
    Devilbox容器经常更新并推送到Docker Hub。您可以轻松拉取最新的映像或重新构建特定的容器以获取最新版本。Devilbox拥有活跃的社区，欢迎贡献、错误报告、功能请求和通过GitHub、论坛和聊天渠道的合作。

    结论：
    Devilbox通过提供可定制和可复现的基于Docker的PHP堆栈简化了本地开发。通过其简单的安装、选择守护程序和版本的灵活性、附加服务和工具、邮件拦截、自动DNS、用户友好的内部网络和活跃的社区支持，Devilbox简化了开发流程，提高了生产效率。无论您是初学者还是经验丰富的开发人员，Devilbox都是创建和管理开发环境的有价值工具。尝试一下，体验轻松的本地开发带来的好处。

    devilbox.org

  • 物理学是关于对称性的学科

    “物理学是关于对称性的学科”这句话源自于著名的理论物理学家埃米利奥·塞格雷（Emilio Segrè）。这句话的核心思想是指出对称性在物理定律中起着关键的作用，很多基础的物理定律都可以从某种对称性导出。

    下面是一些具体的例子：

    1. 转动对称性：一个物理系统如果对于空间中的旋转保持不变，那么它就具有转动对称性。这是力学中角动量守恒定律的来源。
    2. 平移对称性：如果一个物理系统对于空间中的平移保持不变，那么它具有平移对称性。这是力学中动量守恒定律的来源。类似地，对于时间的平移对称性导致了能量守恒定律。
    3. 镜像对称性（宇称对称性）：如果一个物理系统对于空间中的反射（即，镜像）保持不变，那么它就具有镜像对称性。然而，在某些情况下，例如某些弱相互作用过程中，这种对称性会被破坏。
    4. CPT 对称性：CPT 对称性是量子场论中的一个基本对称性，它涉及到粒子与反粒子的转换（C，电荷共轭），宇宙与镜像宇宙的转换（P，宇称共轭）以及时间的正向与反向的转换（T，时间共轭）。我们认为所有的物理定律都满足 CPT 对称性。
    5. 规范对称性：量子力学中的许多基本理论，例如电动力学、弱相互作用以及强相互作用，都是基于规范对称性的。规范对称性是指一个物理系统对于某种局部的参数变换保持不变。例如在电动力学中，我们可以在每一点独立地改变电磁场的相位，物理定律保持不变。这种对称性导致了电磁相互作用中电荷守恒的原理。

    对称性为我们理解和描述物理现象提供了强大的工具。对称性的破坏也同样重要，它可以帮助我们理解许多复杂的物理过程，例如电弱对称性破缺可以解释为什么弱相互作用只能作用在很短的距离上。

  • Laradock：简化PHP开发环境的利器

    Laradock 是一个为 Docker 提供的全功能 PHP 开发环境，它支持多种常用服务的快速配置，为 PHP 开发者提供了一个便捷的开发环境。Laradock 的设计初衷是让开发者能够快速切换不同版本的 PHP、选择自己喜欢的数据库引擎，并且可以轻松运行各种常用的服务。

    Laradock 的特点如下：

    1. 轻松切换 PHP 版本：支持 PHP 8.1、8.0、7.4、7.3、7.2、7.1、5.6 等多个版本。
    2. 多种数据库引擎：支持 MySQL、Postgres、MariaDB 等常用数据库引擎。
    3. 自定义开发栈：支持 Memcached、HHVM、RabbitMQ 等各种常用服务。
    4. 每个软件运行在独立的容器中：PHP-FPM、NGINX、PHP-CLI 等软件都在自己的容器中运行。
    5. 容器定制化简单：可以通过简单地编辑 Dockerfile 来自定义任何容器。
    6. 基于官方基础镜像：所有镜像都是基于官方的基础镜像构建的，安全可靠。
    7. 预配置的 NGINX：预配置 NGINX 以托管根目录下的任何代码。
    8. 支持单个项目或多个项目：可以为每个项目单独使用 Laradock，也可以为所有项目共用一个 Laradock。
    9. 通过环境变量轻松安装/移除容器中的软件。
    10. 清晰、结构良好的 Dockerfile。
    11. 最新版本的 Docker Compose 文件。
    12. 所有内容可见且可编辑。
    13. 快速构建镜像。

    快速入门：
    让我们看看如何轻松设置我们的演示堆栈：PHP、NGINX、MySQL、Redis 和 Composer。

    1. 在你的 PHP 项目中克隆 Laradock：
    git clone https://github.com/Laradock/laradock.git
    1. 进入 laradock 文件夹，将 .env.example 重命名为 .env：
    cd laradock
mv .env.example .env
    1. 运行容器：
    docker-compose up -d nginx mysql phpmyadmin redis workspace
    1. 打开项目的 .env 文件，并设置以下内容：
    DB_HOST=mysql
REDIS_HOST=redis
QUEUE_HOST=beanstalkd
    1. 在浏览器中访问 localhost：http://localhost。就是这样，尽情享受吧！

    Laradock 支持的服务：
    Laradock 遵循关注点分离原则，因此它将每个软件运行在自己的 Docker 容器中。你可以根据需要启动/关闭任意数量的实例，而不必担心配置的问题。要运行下面列表中的容器，请使用 docker-compose up -d {container-name} 命令。

    Web 服务器：

    • NGINX
    • Apache2
    • Caddy

    负载均衡器：

    • HAProxy
    • Traefik

    PHP 编译器：

    • PHP FPM
    • HHVM

    数据库管理系统：

    • MySQL
    • PostgreSQL
    • PostGIS
    • MariaDB
    • Percona
    • MSSQL
    • MongoDB
    • MongoDB Web UI
    • Neo4j
    • CouchDB
    • RethinkDB
    • Cassandra

    数据库管理应用：

    • PhpMyAdmin
    • Adminer
    • PgAdmin

    缓存引擎：

    • Redis
    • Redis Web UI
    • Redis Cluster
    • Memcached
    • Aerospike
    • Varnish

    消息代理：

    • RabbitMQ
    • RabbitMQ Admin Console
    • Beanstalkd
    • Beanstalkd Admin Console
      Eclipse Mosquitto

    laradock

    laradock/README-zh.md at master · laradock/laradock (github.com)

  • 推荐WordPress 的puock主题

    Licoy/wordpress-theme-puock: :art: 一款基于WordPress开发的高颜值的自适应主题，支持白天与黑夜模式/无刷新加载/第三方登录等众多功能 | A high-value adaptive theme based on WordPress, supports light and dark modes, no refresh loading, etc. (github.com)

    开源免费的WP插件，可以快速搭建一个内容分享站点。

  • win11下启动服务报告没有权限监听端口

    [Nest] 26516 – 2023/10/05 13:07:06 ERROR [NestApplication] Error: listen EACCES: permission denied 0.0.0.0:3000 +2ms
    Error: listen EACCES: permission denied 0.0.0.0:3000

    其实不是端口的问题而是 winnat，重启就好：

    net stop winnat

    net start winnat

    效果如下图：

  • LMDeploy: 你的AI模型部署和服务的全方位解决方案

    欢迎来到LMDeploy的世界！LMDeploy是由MMDeploy和MMRazor团队联合打造的一款全面的工具箱，旨在帮助你轻松、高效地实现LLM任务的轻量化、部署和服务。

    高效推理引擎 TurboMind

    首先，让我为你介绍一下我们的高效推理引擎TurboMind。它是基于FasterTransformer构建的，能以极其高效的方式执行 InternLM、LLaMA、vicuna 等模型在NVIDIA GPU上的推理。想象一下，一个强大且高效的工具正在为你处理复杂的AI计算，这就是TurboMind为你提供的！

    交互推理方式

    我们知道，在多轮对话中，如果每次都处理整个对话历史，会消耗大量的计算资源。因此，LMDeploy引入了一种交互推理方式。它通过缓存对话过程中attention的k/v值，记住对话历史，避免了重复处理历史会话，提升了推理效率。

    多GPU部署和量化

    LMDeploy还提供了全面的模型部署和量化支持。无论你的AI模型规模大小，我们都已经完成了验证。这意味着，你可以更自由地选择硬件资源，无需担心模型的部署和量化问题。

    persistent batch推理

    最后，我们还有一个优化模型执行效率的神秘武器，那就是persistent batch推理。这个功能可以进一步优化你的模型，让你的AI应用运行得更快、更流畅。

    LMDeploy就像一个多功能的瑞士军刀，为你的AI模型提供全方位的支持。从高效推理引擎到灵活的模型部署，再到持续优化的推理方式，我们始终在努力为你提供最佳的AI部署和服务解决方案。让我们一起，开启AI的未来！

  • 打开数学大门的神奇模型——阿贝尔

    大家好，今天我想和大家分享一项最新的研究成果。这是由上海交通大学生成式人工智能研究组（GAIR）提出的一款名为“阿贝尔”的大型语言模型，专门用于解决数学问题。

    首先，让我们来看看为什么我们需要这样的模型。在当前的大数据时代，人工智能已经成为了我们生活中不可或缺的一部分。然而，尽管人工智能在文本理解和知识理解等任务上表现出色，但在复杂数学推理计算、物理建模、科学发现等领域，人工智能的研究却远未达到我们的期望。这就是为什么GAIR团队决定研发阿贝尔模型，以帮助我们更好地理解和解决数学问题。

    那么，阿贝尔模型是如何工作的呢？在阿贝尔模型中，研究者们结合了两种先前的数学解决方法，即CoT（思维链）和PoT（思维程序）。CoT方法通过一步步的自然语言描述来解决问题，但在处理复杂的数学或算法推理过程时，可能会遇到困难。而PoT方法则是通过编程的方式来解决问题，尽管这种方法在处理更抽象的推理场景时可能会遇到困难，但它利用Python解释器来大幅简化数学求解过程。

    为了充分利用这两种方法的优点，研究团队创建了一个新的数学混合指令微调数据集MathInstruct，它广泛覆盖了不同的数学领域和复杂程度，并将CoT和PoT原理结合到一起。然后，他们使用这个数据集对模型进行训练，得到了一系列不同大小的阿贝尔模型。

    研究者们使用了一系列的数据集来对阿贝尔模型进行评估，结果显示，相比于之前的方法，阿贝尔模型能更好地处理领域外的数据集，并能大幅提升开源LLM的数学推理能力。

    阿贝尔模型的出现，无疑为我们解决数学问题提供了一种新的可能。无论你是在日常生活中遇到的购物预算问题，还是在工作中遇到的复杂金融投资问题，阿贝尔模型都能为你提供有效的解决方案。这个新的数学模型，不仅能够应对各种类型的数学问题，还能够在不同的数据集中都取得很好的效果，表现出了强大的泛化能力。这对于我们在日常生活中解决各种数学问题，甚至在更高层次的金融投资、科学研究等领域，都有着巨大的潜力和价值。

    你可能会问，我能在哪里找到这个神奇的模型呢？别担心，阿贝尔模型的代码已经在GitHub上开源，研究团队也在Hugging Face发布了训练好的不同大小的模型，供大家免费使用。

    参考链接：
    论文链接
    代码链接
    数据集与模型链接

  • 一种新型数学问题解决模型——MAmmoTH

    在我们的日常生活中，数学问题无处不在，从简单的购物预算，到复杂的金融投资计算，都需要我们运用数学来解决。然而，对于许多人来说，数学问题可能并不是那么容易解决。那么，有没有一种方式，可以让计算机帮助我们解决这些问题呢？

    最近，来自滑铁卢大学和俄亥俄州立大学等机构的研究团队提出了一种名为MAmmoTH的大型语言模型（LLM），专门针对解决数学问题。这个新模型充分利用了两个先前的数学解决方法，即CoT（思维链）和PoT（思维程序）。

    在CoT方法中，问题通过一步步的自然语言描述来解决，这个方法的优点是能覆盖大多数数学科目，但在计算精度和复杂的数学或算法推理过程方面存在困难。而PoT方法则是通过编程的方式来解决问题，利用Python解释器来简化数学求解过程，但PoT在处理更抽象的推理场景时可能会遇到困难。

    为了充分利用这两种方法的优点，研究团队创建了一个新的数学混合指令微调数据集MathInstruct，它广泛覆盖了不同的数学领域和复杂程度，并将CoT和PoT原理结合到一起。

    为了测试这个新的数学模型，研究者们使用了一系列的数据集，包括GSM8K、MATH、AQuA-RAT、NumGLUE等，对模型进行了评估。结果显示，相比于之前的方法，MAmmoTH模型能更好地处理领域外的数据集，并能大幅提升开源LLM的数学推理能力。

    这个新的数学模型MAmmoTH，不仅能够应对各种类型的数学问题，还能够在不同的数据集中都取得很好的效果，表现出了强大的泛化能力。这对于我们在日常生活中解决各种数学问题，甚至在更高层次的金融投资、科学研究等领域，都有着巨大的潜力和价值。

    这项研究的代码已经在GitHub上开源，研究团队也在Hugging Face发布了训练好的不同大小的模型，供大家免费使用。如果你对数学问题感到头疼，或者你是一个对AI有着极高热情的研究者，那么这个新的数学模型MAmmoTH可能正是你需要的工具。

    参考资料：
    论文：https://arxiv.org/pdf/2309.05653.pdf
    代码：https://github.com/TIGER-AI-Lab/MAmmoTH
    数据集与模型：https://huggingface.co/datasets/TIGER-Lab/MathInstruct