知差（chai）

作者： C3P00

  • 使用Devilbox简化本地开发：Docker化的PHP堆栈

    Devilbox是一个现代化且高度可定制的PHP开发堆栈，基于Docker运行。它为所有主要操作系统提供可重现和相同的开发环境，无需任何配置。无论您是在开发LAMP还是MEAN堆栈，Devilbox都可以轻松切换和组合所需的版本以供本地开发使用。通过自动创建虚拟主机（vhost）、SSL证书和DNS记录，Devilbox支持无限数量的项目。在本文中，我们将探讨Devilbox的功能以及它如何简化本地开发。

    简单安装和设置：
    安装Devilbox非常简单。只需克隆Devilbox存储库并配置环境文件即可。Devilbox适用于包括Linux、macOS和Windows在内的所有主要操作系统。完成设置后，您可以使用一个命令启动所有容器。

    精确运行所需的内容：
    Devilbox提供了灵活性，可以选择所需的守护程序及其版本。您可以轻松配置Apache、Nginx、PHP、MySQL、MariaDB、Percona、PgSQL、Redis、Memcached、MongoDB等。这样，您可以在开发过程中准确模拟生产环境。

    附加服务和工具：
    除了默认堆栈之外，Devilbox还提供了其他一些可以轻松启用和启动的服务。这些服务包括Python（Flask）、Blackfire、ELK、MailHog、Ngrok、RabbitMQ、Solr、HAProxy、Varnish等等。您可以仅启动所需的容器，并在堆栈运行时添加或删除守护程序。

    邮件拦截和自动DNS：
    Devilbox包含一个内置的postfix邮件服务器，可以拦截所有发出的电子邮件，确保您在开发过程中不会意外发送真实的电子邮件。自动DNS功能会自动为每个项目提供正确的DNS记录，无需手动编辑主机文件。

    用户友好的内部网络和安全性：
    Devilbox配有一个用户友好的内部网络，提供有用的工具，如容器健康监控、DNS状态、可用的虚拟主机、电子邮件、数据库和有效的配置。安全性也是一个重要考虑因素，Devilbox使用官方Docker映像和自定义映像的混合方式。所有集成的容器都可以在GitHub上进行查看。

    始终更新和活跃的社区：
    Devilbox容器经常更新并推送到Docker Hub。您可以轻松拉取最新的映像或重新构建特定的容器以获取最新版本。Devilbox拥有活跃的社区，欢迎贡献、错误报告、功能请求和通过GitHub、论坛和聊天渠道的合作。

    结论：
    Devilbox通过提供可定制和可复现的基于Docker的PHP堆栈简化了本地开发。通过其简单的安装、选择守护程序和版本的灵活性、附加服务和工具、邮件拦截、自动DNS、用户友好的内部网络和活跃的社区支持，Devilbox简化了开发流程，提高了生产效率。无论您是初学者还是经验丰富的开发人员，Devilbox都是创建和管理开发环境的有价值工具。尝试一下，体验轻松的本地开发带来的好处。

    devilbox.org

  • 物理学是关于对称性的学科

    “物理学是关于对称性的学科”这句话源自于著名的理论物理学家埃米利奥·塞格雷（Emilio Segrè）。这句话的核心思想是指出对称性在物理定律中起着关键的作用，很多基础的物理定律都可以从某种对称性导出。

    下面是一些具体的例子：

    1. 转动对称性：一个物理系统如果对于空间中的旋转保持不变，那么它就具有转动对称性。这是力学中角动量守恒定律的来源。
    2. 平移对称性：如果一个物理系统对于空间中的平移保持不变，那么它具有平移对称性。这是力学中动量守恒定律的来源。类似地，对于时间的平移对称性导致了能量守恒定律。
    3. 镜像对称性（宇称对称性）：如果一个物理系统对于空间中的反射（即，镜像）保持不变，那么它就具有镜像对称性。然而，在某些情况下，例如某些弱相互作用过程中，这种对称性会被破坏。
    4. CPT 对称性：CPT 对称性是量子场论中的一个基本对称性，它涉及到粒子与反粒子的转换（C，电荷共轭），宇宙与镜像宇宙的转换（P，宇称共轭）以及时间的正向与反向的转换（T，时间共轭）。我们认为所有的物理定律都满足 CPT 对称性。
    5. 规范对称性：量子力学中的许多基本理论，例如电动力学、弱相互作用以及强相互作用，都是基于规范对称性的。规范对称性是指一个物理系统对于某种局部的参数变换保持不变。例如在电动力学中，我们可以在每一点独立地改变电磁场的相位，物理定律保持不变。这种对称性导致了电磁相互作用中电荷守恒的原理。

    对称性为我们理解和描述物理现象提供了强大的工具。对称性的破坏也同样重要，它可以帮助我们理解许多复杂的物理过程，例如电弱对称性破缺可以解释为什么弱相互作用只能作用在很短的距离上。

  • Laradock：简化PHP开发环境的利器

    Laradock 是一个为 Docker 提供的全功能 PHP 开发环境，它支持多种常用服务的快速配置，为 PHP 开发者提供了一个便捷的开发环境。Laradock 的设计初衷是让开发者能够快速切换不同版本的 PHP、选择自己喜欢的数据库引擎，并且可以轻松运行各种常用的服务。

    Laradock 的特点如下：

    1. 轻松切换 PHP 版本：支持 PHP 8.1、8.0、7.4、7.3、7.2、7.1、5.6 等多个版本。
    2. 多种数据库引擎：支持 MySQL、Postgres、MariaDB 等常用数据库引擎。
    3. 自定义开发栈：支持 Memcached、HHVM、RabbitMQ 等各种常用服务。
    4. 每个软件运行在独立的容器中：PHP-FPM、NGINX、PHP-CLI 等软件都在自己的容器中运行。
    5. 容器定制化简单：可以通过简单地编辑 Dockerfile 来自定义任何容器。
    6. 基于官方基础镜像：所有镜像都是基于官方的基础镜像构建的，安全可靠。
    7. 预配置的 NGINX：预配置 NGINX 以托管根目录下的任何代码。
    8. 支持单个项目或多个项目：可以为每个项目单独使用 Laradock，也可以为所有项目共用一个 Laradock。
    9. 通过环境变量轻松安装/移除容器中的软件。
    10. 清晰、结构良好的 Dockerfile。
    11. 最新版本的 Docker Compose 文件。
    12. 所有内容可见且可编辑。
    13. 快速构建镜像。

    快速入门：
    让我们看看如何轻松设置我们的演示堆栈：PHP、NGINX、MySQL、Redis 和 Composer。

    1. 在你的 PHP 项目中克隆 Laradock：
    git clone https://github.com/Laradock/laradock.git
    1. 进入 laradock 文件夹，将 .env.example 重命名为 .env：
    cd laradock
mv .env.example .env
    1. 运行容器：
    docker-compose up -d nginx mysql phpmyadmin redis workspace
    1. 打开项目的 .env 文件，并设置以下内容：
    DB_HOST=mysql
REDIS_HOST=redis
QUEUE_HOST=beanstalkd
    1. 在浏览器中访问 localhost：http://localhost。就是这样，尽情享受吧！

    Laradock 支持的服务：
    Laradock 遵循关注点分离原则，因此它将每个软件运行在自己的 Docker 容器中。你可以根据需要启动/关闭任意数量的实例，而不必担心配置的问题。要运行下面列表中的容器，请使用 docker-compose up -d {container-name} 命令。

    Web 服务器：

    • NGINX
    • Apache2
    • Caddy

    负载均衡器：

    • HAProxy
    • Traefik

    PHP 编译器：

    • PHP FPM
    • HHVM

    数据库管理系统：

    • MySQL
    • PostgreSQL
    • PostGIS
    • MariaDB
    • Percona
    • MSSQL
    • MongoDB
    • MongoDB Web UI
    • Neo4j
    • CouchDB
    • RethinkDB
    • Cassandra

    数据库管理应用：

    • PhpMyAdmin
    • Adminer
    • PgAdmin

    缓存引擎：

    • Redis
    • Redis Web UI
    • Redis Cluster
    • Memcached
    • Aerospike
    • Varnish

    消息代理：

    • RabbitMQ
    • RabbitMQ Admin Console
    • Beanstalkd
    • Beanstalkd Admin Console
      Eclipse Mosquitto

    laradock

    laradock/README-zh.md at master · laradock/laradock (github.com)

  • 推荐WordPress 的puock主题

    Licoy/wordpress-theme-puock: :art: 一款基于WordPress开发的高颜值的自适应主题，支持白天与黑夜模式/无刷新加载/第三方登录等众多功能 | A high-value adaptive theme based on WordPress, supports light and dark modes, no refresh loading, etc. (github.com)

    开源免费的WP插件，可以快速搭建一个内容分享站点。

  • win11下启动服务报告没有权限监听端口

    [Nest] 26516 – 2023/10/05 13:07:06 ERROR [NestApplication] Error: listen EACCES: permission denied 0.0.0.0:3000 +2ms
    Error: listen EACCES: permission denied 0.0.0.0:3000

    其实不是端口的问题而是 winnat，重启就好：

    net stop winnat

    net start winnat

    效果如下图：

  • LMDeploy: 你的AI模型部署和服务的全方位解决方案

    欢迎来到LMDeploy的世界！LMDeploy是由MMDeploy和MMRazor团队联合打造的一款全面的工具箱，旨在帮助你轻松、高效地实现LLM任务的轻量化、部署和服务。

    高效推理引擎 TurboMind

    首先，让我为你介绍一下我们的高效推理引擎TurboMind。它是基于FasterTransformer构建的，能以极其高效的方式执行 InternLM、LLaMA、vicuna 等模型在NVIDIA GPU上的推理。想象一下，一个强大且高效的工具正在为你处理复杂的AI计算，这就是TurboMind为你提供的！

    交互推理方式

    我们知道，在多轮对话中，如果每次都处理整个对话历史，会消耗大量的计算资源。因此，LMDeploy引入了一种交互推理方式。它通过缓存对话过程中attention的k/v值，记住对话历史，避免了重复处理历史会话，提升了推理效率。

    多GPU部署和量化

    LMDeploy还提供了全面的模型部署和量化支持。无论你的AI模型规模大小，我们都已经完成了验证。这意味着，你可以更自由地选择硬件资源，无需担心模型的部署和量化问题。

    persistent batch推理

    最后，我们还有一个优化模型执行效率的神秘武器，那就是persistent batch推理。这个功能可以进一步优化你的模型，让你的AI应用运行得更快、更流畅。

    LMDeploy就像一个多功能的瑞士军刀，为你的AI模型提供全方位的支持。从高效推理引擎到灵活的模型部署，再到持续优化的推理方式，我们始终在努力为你提供最佳的AI部署和服务解决方案。让我们一起，开启AI的未来！

  • 打开数学大门的神奇模型——阿贝尔

    大家好，今天我想和大家分享一项最新的研究成果。这是由上海交通大学生成式人工智能研究组（GAIR）提出的一款名为“阿贝尔”的大型语言模型，专门用于解决数学问题。

    首先，让我们来看看为什么我们需要这样的模型。在当前的大数据时代，人工智能已经成为了我们生活中不可或缺的一部分。然而，尽管人工智能在文本理解和知识理解等任务上表现出色，但在复杂数学推理计算、物理建模、科学发现等领域，人工智能的研究却远未达到我们的期望。这就是为什么GAIR团队决定研发阿贝尔模型，以帮助我们更好地理解和解决数学问题。

    那么，阿贝尔模型是如何工作的呢？在阿贝尔模型中，研究者们结合了两种先前的数学解决方法，即CoT（思维链）和PoT（思维程序）。CoT方法通过一步步的自然语言描述来解决问题，但在处理复杂的数学或算法推理过程时，可能会遇到困难。而PoT方法则是通过编程的方式来解决问题，尽管这种方法在处理更抽象的推理场景时可能会遇到困难，但它利用Python解释器来大幅简化数学求解过程。

    为了充分利用这两种方法的优点，研究团队创建了一个新的数学混合指令微调数据集MathInstruct，它广泛覆盖了不同的数学领域和复杂程度，并将CoT和PoT原理结合到一起。然后，他们使用这个数据集对模型进行训练，得到了一系列不同大小的阿贝尔模型。

    研究者们使用了一系列的数据集来对阿贝尔模型进行评估，结果显示，相比于之前的方法，阿贝尔模型能更好地处理领域外的数据集，并能大幅提升开源LLM的数学推理能力。

    阿贝尔模型的出现，无疑为我们解决数学问题提供了一种新的可能。无论你是在日常生活中遇到的购物预算问题，还是在工作中遇到的复杂金融投资问题，阿贝尔模型都能为你提供有效的解决方案。这个新的数学模型，不仅能够应对各种类型的数学问题，还能够在不同的数据集中都取得很好的效果，表现出了强大的泛化能力。这对于我们在日常生活中解决各种数学问题，甚至在更高层次的金融投资、科学研究等领域，都有着巨大的潜力和价值。

    你可能会问，我能在哪里找到这个神奇的模型呢？别担心，阿贝尔模型的代码已经在GitHub上开源，研究团队也在Hugging Face发布了训练好的不同大小的模型，供大家免费使用。

    参考链接：
    论文链接
    代码链接
    数据集与模型链接

  • 一种新型数学问题解决模型——MAmmoTH

    在我们的日常生活中，数学问题无处不在，从简单的购物预算，到复杂的金融投资计算，都需要我们运用数学来解决。然而，对于许多人来说，数学问题可能并不是那么容易解决。那么，有没有一种方式，可以让计算机帮助我们解决这些问题呢？

    最近，来自滑铁卢大学和俄亥俄州立大学等机构的研究团队提出了一种名为MAmmoTH的大型语言模型（LLM），专门针对解决数学问题。这个新模型充分利用了两个先前的数学解决方法，即CoT（思维链）和PoT（思维程序）。

    在CoT方法中，问题通过一步步的自然语言描述来解决，这个方法的优点是能覆盖大多数数学科目，但在计算精度和复杂的数学或算法推理过程方面存在困难。而PoT方法则是通过编程的方式来解决问题，利用Python解释器来简化数学求解过程，但PoT在处理更抽象的推理场景时可能会遇到困难。

    为了充分利用这两种方法的优点，研究团队创建了一个新的数学混合指令微调数据集MathInstruct，它广泛覆盖了不同的数学领域和复杂程度，并将CoT和PoT原理结合到一起。

    为了测试这个新的数学模型，研究者们使用了一系列的数据集，包括GSM8K、MATH、AQuA-RAT、NumGLUE等，对模型进行了评估。结果显示，相比于之前的方法，MAmmoTH模型能更好地处理领域外的数据集，并能大幅提升开源LLM的数学推理能力。

    这个新的数学模型MAmmoTH，不仅能够应对各种类型的数学问题，还能够在不同的数据集中都取得很好的效果，表现出了强大的泛化能力。这对于我们在日常生活中解决各种数学问题，甚至在更高层次的金融投资、科学研究等领域，都有着巨大的潜力和价值。

    这项研究的代码已经在GitHub上开源，研究团队也在Hugging Face发布了训练好的不同大小的模型，供大家免费使用。如果你对数学问题感到头疼，或者你是一个对AI有着极高热情的研究者，那么这个新的数学模型MAmmoTH可能正是你需要的工具。

    参考资料：
    论文：https://arxiv.org/pdf/2309.05653.pdf
    代码：https://github.com/TIGER-AI-Lab/MAmmoTH
    数据集与模型：https://huggingface.co/datasets/TIGER-Lab/MathInstruct

  • 书生·浦语 大语言模型确实很牛！

    书生·浦语 目前开源的 20B模型性能超过了同参数规模竞争者。

    更好的一点是，书生·浦语开源了训练和部署工具链。

    Demo：书生·浦语-对话-20B · 模型库 (modelscope.cn)

    相比其它竞争者，这个模型的背景也更加有实力，可持续性会更好。

    InternLM/README-zh-Hans.md at main · InternLM/InternLM (github.com)

  • Duplicator – WordPress迁移和备份插件

    Duplicator复制器是可用的最强大的迁移器。它使您能够：

    • 在域或主机之间移动、迁移或克隆 WordPress 网站，无需停机
    • 将实时站点下拉到本地主机进行开发
    • 将WordPress网站从一个主机转移到另一个主机
    • 手动备份WordPress网站或网站的一部分
    • 将活动站点复制到暂存区域，反之亦然
    • 捆绑整个WordPress网站，以便于重用或分发
    • 执行完整的WordPress迁移，而无需为混乱的导入/导出SQL脚本而苦恼

  • 从SD绘图开源项目的竞争看webui的构建

    stable-diffusion-webui Fooocus ComfyUI 这三个主流的SD绘图webui正在以不同的设计思路竞争。

    迭代速度显然起到的决定性作用。

    SD-webui和Fooocus采用了gradio来构建UI，迭代快捷，维护成本低。

    而ComfyUI采用复杂的nodejs技术栈来构建UI，虽然架构上更加先进，然而缺失去了快速添加功能的优势。

    从设计哲学上看，Fooocus聚焦在绘图本身的思路最为简洁和易用。

    这也是符合LLM时代的大趋势，即，WebUI变成LUI，语言UI。

    或者说，由于自然语言可以编程了，以prompt的形势，自然也就解放了很多传统UI禁锢的功能。ComfyUI试图以 计算图的方式来 把底层逻辑以Graph形式编程，这反而增加了复杂性，一旦复杂度上去，反而不如直接编码（Python）简单。

  • vLLM 加速LLM推理24倍

    UC伯克利开源了 vLLM 这个大语言模型推理和服务引擎。

    主要亮点包括:

    1. 使用新的PagedAttention注意力算法,可以有效管理注意力键值缓存,节省内存开销。
    2. 性能明显优于HuggingFace Transformers, 吞吐量提升24倍。
    3. 能够在GPU资源有限的情况下提供LLM服务。
    4. 能支持各种LLM模型架构,如GPT系列、LLaMA等。
    5. vLLM已经被用于Chatbot Arena和Vicuna LM模型的服务后端,提升吞吐量30倍。

    主要技术亮点在于PagedAttention算法。它通过在非连续内存空间中存储注意力键值,有效管理内存。

    使用vLLM可以很容易完成离线推理和在线部署,提供类似OpenAI API的服务。项目对于降低LLM服务的成本和难度具有重要意义,有利于更多机构和团队部署自己的LLM服务。vLLM是一个值得关注的开源项目,解决了LLM服务效率和可伸缩性方面的重大挑战。

  • 平均帧率稳定，但是掉帧的问题

    解决方案：

    • 显示器帧率配置了动态帧率？可以尝试关闭；
    • 低延迟模式打开没？可以在Nvidia显卡控制台打开reflex尝试下；gsync也可以关闭试一下；
    • 大小核心架构的CPU？可以用process lasso 来设置相关进程只使用大核心；
    • 内存频率设置太高？降低到默认频率试试；
    • 鼠标的回报速率是不是太高？可以设置到600fps；
    • 风扇是不是太脏了？散热问题？
    • 核心显卡到驱动是不是没有更新？有独立显卡时，别忘记更新核心显卡的驱动；

  • Ghost in the Minecraft：突破莫拉维克悖论，通用人工智能取得重要突破!

    近期，来自商汤、清华大学、上海人工智能实验室等机构的研究人员提出了一种全新的框架——Ghost in the Minecraft（GITM）。GITM可以将大语言模型与基于文本的知识和记忆整合在一起，在经典游戏《我的世界》中打造出通才AI智能体。这一研究为通用人工智能（AGI）的发展迈出了重要一步。

    GITM在《我的世界》内主世界的所有技术挑战上实现了100%的任务覆盖率，成功解锁了完整的科技树的262个物品。同时，GITM在最受关注的「获取钻石」任务上取得了67.5%的成功率，相比于目前最佳成绩（OpenAI VPT）提高了47.5%。GITM的训练效率也达到新高度，环境交互步数只需已有方法的万分之一，单一CPU节点训练2天即可完成。

    GITM的成功突破有助于推动通用人工智能（AGI）的研究目标加速实现，发展出能够在开放世界环境中像人一样进行感知、理解和交互的智能体。这将为机器人和自动驾驶等产业带来巨大突破和进步，有效解决现实世界中复杂环境和各类长尾问题，推动AI技术更大规模的产业落地。

    项目主页： https://github.com/OpenGVLab/GITM

    GITM能力和应用展望

    GITM能够在《我的世界》中面对各类地形、环境、白天黑夜场景，甚至遇到怪物也能自如应对。GITM还可以进一步应用在《我的世界》更加复杂的任务中，如建造避难所、农田、铁傀儡，创造自动化设备所需的红石电路、进入下界所需的下界传送门等。

    这些任务展示了GITM强大的能力和可扩展性，使得智能体能够在《我的世界》中长时间生存、发展，探索更加高级的世界。

    商汤科技推进通用人工智能发展

    作为全球人工智能领域的领军企业，商汤科技以「大模型+大算力」推进AGI（通用人工智能）发展的战略布局。商汤科技在多模态、多任务通用大模型领域快速发展，以「日日新SenseNova」大模型体系为核心，不断助力创新技术在智能汽车、智慧生活、智慧商业和智慧城市等领域的快速应用。

    此外，商汤基于OpenDILab决策AI平台开发的AI模型DI-star在《星际争霸》中战胜了曾经的大中华区冠军，展示出强大的决策AI能力。GITM的成功将推动自动驾驶等应用处理复杂任务的能力更上一层楼，打破更高的技术天花板。

  • GPT的运用和训练

    对GPT的运用和训练,这里给出以下几点总结:

    1. GPT的训练流程大致可以分为四个阶段:预训练、监督式微调、奖励建模、强化学习。其中预训练是最耗时耗力的,需要大量数据和算力。
    2. 预训练是让模型学习通用的语言表示,然后通过微调来应用于特定任务。微调所需的数据会少很多。
    3. 相较于监督式微调,使用强化学习人类反馈的方式(RLHF)可以让模型在某些任务上表现更好。但成本也更高。
    4. 使用GPT时,可以通过精心设计prompt来引导模型输出满意的结果。也可以通过工具和插件,或微调模型来进一步提高性能。
    5. GPT更像是在模仿,而非真正理解。因此需要在prompt中更明确地指示模型输出正确结果。
    6. 在使用GPT时要小心注意偏见、错误信息等问题。最好结合人工监督来使用。
    7. GPT有很多有趣的功能和限制,如模拟思维过程、使用脑錯等。但仍需要进一步研究才能更好地使用。

    GPT已经非常强大了,但仍存在诸多局限。合理使用与人工相结合是目前应用的一个方向。提高模型本身和与模型交互的方式仍有很多可以改进的地方。

    OpenAI联合创始人亲自上场科普GPT，让技术小白也能理解最强AI – 知乎 (zhihu.com)

  • 斯坦福最新Sophia优化器比Adam快2倍

    斯坦福大学最近发布了一篇研究论文，提出了一种名为Sophia的新型优化器，用于提高大型语言模型（LLM）的预训练效率。与目前广泛使用的Adam优化器相比，Sophia优化器在预训练GPT-2等模型时可以将训练时间减少约50%。这意味着在相同的预算下，Sophia优化器可以实现更好的预训练损失。该优化器利用轻量级二阶方法，通过对Hessian矩阵对角线的廉价随机估计来作为预调节器，并通过限幅机制来控制最坏情况下的更新大小。

    关键概念

    • Sophia优化器是一种新型优化器，用于提高大型语言模型的预训练效率。与Adam优化器相比，Sophia可以在相同的预训练损失下将训练时间减少约50%。
    • Sophia是一种轻量级二阶优化器，利用Hessian矩阵对角线的廉价随机估计作为预调节器，并通过限幅机制来控制最坏情况下的更新大小。
    • 随着模型尺寸的增加，Sophia相对于Adam的优势变得越来越明显。在相同步数下，Sophia的验证损失优于Adam和Lion。
    • Sophia优化器可以无缝集成到现有的训练流程中，无需对模型架构或计算基础设施进行特殊修改。

    实验结果

    实验结果表明，Sophia优化器在预训练大型语言模型时表现优于Adam和Lion优化器。在相同的步数下，使用Sophia预训练的模型在多数任务上优于使用Adam和Lion预训练的模型。此外，使用Sophia预训练100K步的模型与使用Adam预训练200K步的模型具有相当的性能。这意味着Sophia优化器可以在更短的时间内实现相同或更好的预训练损失。

  • QLoRA: 高效Finetuning 量化 LLMs

    Dettmers提出了一种高效的微调方法QLoRA，它能够在保持完整的16位微调任务性能的同时，将内存使用量降低到足以在单个48GB GPU上微调65B参数模型的程度。

    QLoRA通过在低秩适配器（LoRA）中将梯度反向传播到一个冻结的、4位量化的预训练语言模型。我们最优秀的模型家族，我们将其命名为Guanaco，在Vicuna基准测试中胜过之前所有公开发布的模型，达到了ChatGPT性能水平的99.3%，而仅需要在单个GPU上进行24小时的微调。QLoRA在不牺牲性能的前提下采用了许多创新技术来节省内存：

    （a）4位NormalFloat（NF4），一种对于正态分布权重来说，从信息理论角度具有最优性的新数据类型；

    （b）双重量化，通过量化量化常数来减少平均内存占用；

    （c）分页优化器，以管理内存峰值。我们使用QLoRA对超过1000个模型进行微调，在8个指令数据集中，对多种模型类型（LLaMA，T5）以及在常规微调中难以运行的模型规模（例如33B和65B参数模型）进行了详细的指令跟随和聊天机器人性能分析。

    结果表明，QLoRA在小型高质量数据集上的微调可以达到最先进的结果，即使使用比之前SoTA更小的模型。我们根据人类评估和GPT-4评估结果，对聊天机器人性能进行了详细分析，结果表明GPT-4评估是一种廉价且合理的人类评估替代方案。此外，当前的聊天机器人基准测试并不可靠，无法准确评估聊天机器人的性能水平。已发布了所有模型和代码，包括用于4位训练的CUDA内核。

    artidoro/qlora: QLoRA: Efficient Finetuning of Quantized LLMs (github.com)

  • VanillaNet: 极简主义的力量

    最近，一篇名为《VanillaNet: the Power of Minimalism in Deep Learning》的论文引起了广泛关注。该论文提出了一种名为VanillaNet的极简神经网络模型，该模型以其简单的结构和高性能表现出色。VanillaNet使用类似于LeNet和AlexNet的结构来达到或超越现有的视觉骨干网络。

    VanillaNet的核心工作是如何在没有复杂链接和注意力机制的情况下，让一个浅层网络尽可能地提升精度。为了实现这一目标，VanillaNet采用了两个优化策略：深度训练（Deep training）策略和基于级数启发的激活函数。

    在ImageNet上的实验结果显示，6层的VanillaNet可以超过ResNet-34，而13层的VanillaNet在ImageNet上达到了83%的top1精度，超过了几百层网络的性能，同时展示了出色的硬件效率优势。在相同精度时，VanillaNet的速度比Swin-S快了1倍以上。

    该论文的研究成果为浅层神经网络的发展打开了新的大门，让我们重新思考深度神经网络性能提升的关键因素：深度、感受野、注意力机制还是参数量？尽管VanillaNet已在实际业务中得到应用，但它仍有很多提升空间，如预训练、蒸馏、结构优化等。这一成果为未来新架构和新应用带来了无限可能。

  • 知乎携手面壁智能推出全新开源大模型：CPM-Bee10b 登顶中文基座模型

    2023年5月27日，知乎在2023中国国际大数据产业博览会上发布了最新的大语言模型成果。知乎合伙人、首席技术官李大海宣布，知乎和面壁智能共同研发的中文基座大模型CPM-Bee10b全面开源，并发布了智能大模型产品“露卡”和知乎大模型应用功能“搜索聚合卡”。李大海表示，知乎将携手面壁智能，让中国用户在大模型时代享受到最优质的服务。

    知乎与面壁智能首度合作，推出开源大模型CPM-Bee10b

    在“2023知乎发现大会”上，知乎发布了大语言模型“知海图AI”并内测首个站内大模型应用功能“热榜摘要”。此举令知乎成为国内首批具备大语言模型能力的公司，并且让更多人开始关注知乎的技术发展。时隔一个月之后，知乎在2023数博会上再度带来惊喜。

    知乎联合面壁智能发布了首个开源中英文基座大模型CPM-Bee 10b。李大海介绍，该模型从零开始自主训练，基于Transformer架构，中英双语表现优秀，拥有百亿量级参数、超过3万亿高质量语料。经过ZeroCLUE的评测，CPM-Bee10b 以平均 79.8 分登顶中文基座模型，并且英文基座模型得到了68的平均分。“CPM-Bee10b 将全面开源，并允许商用。”李大海称，面壁智能一直坚持开源路线，未来也会持续拥抱开源，促进大模型领域技术和生态的繁荣。

    智能大模型产品“露卡”亮相，展现全面性能

    发布会上，知乎还带了最新的智能大模型产品“露卡”（Luca）。该产品在开源基础模型上又有进一步性能提升，可以进行智能交互并支持多轮对话。从评测结果来看，有65%的结果性能等于或优于ChatGPT。在发布会现场演示中，“露卡”既展示了写文案、藏头诗、解数学题等“全科”能力，也能完成例如“如何制作毛血旺”等回答。令人惊喜的是，“露卡”还拥有图片理解能力，甚至可以查找论文并生成摘要，这表明“露卡”拥有非常优秀的多模态理解能力。

    知乎推出大模型应用功能“搜索聚合卡”，助力用户高效获取信息

    除了基础能力，知乎也是国内率先在应用层面探索大模型产品的公司。继“热榜摘要”之后，知乎带来了又一款站内的大模型应用功能“搜索聚合”。该产品将大模型能力应用到了知乎搜索上，每当用户触发搜索时，系统就会从大量提问和回答中聚合观点，提高用户获取信息、形成决策的效率。发布会当天，“露卡”和“搜索聚合”都开启了正式内测。李大海表示，知乎将继续夯实大模型基础能力，迭代应用产品，为让中国用户享受到一流的大模型服务而努力奋斗。

    未来展望：知乎致力于为用户提供一流的大模型服务

    本次发布会标志着知乎在大模型领域的技术实力再次得到了充分展示，同时也展现出知乎在人工智能领域的技术积累和创新能力。在与面壁智能的合作中，双方共同推进了大模型的研发，为中国用户带来了更多优质的服务。

    未来，知乎将继续加强与各方的合作，进一步拓展大模型在实际应用中的价值。通过不断优化和升级大模型技术，以及与实际场景相结合的应用产品，知乎将努力成为大模型领域的引领者，让更多用户在大模型时代享受到一流的服务。

  • ConvNeXt V2：使用遮罩自编码器共同设计和扩展ConvNets

    由于改进的架构和更好的表示学习框架的推动，视觉识别领域在 2020 年代初期迅速现代化并提高了性能。例如，现代卷积神经网络（ConvNets），以 ConvNeXt 为代表，在各种场景中表现出强大的性能。尽管这些模型最初是为具有 ImageNet 标签的监督学习设计的，但它们也可能从自监督学习技术（如遮蔽自动编码器（MAE））中受益。然而，我们发现简单地结合这两种方法会导致性能不佳。在本文中，我们提出了一个全卷积遮蔽自动编码器框架和一个新的全局响应归一化（GRN）层，这个层可以添加到 ConvNeXt 架构中以增强通道间特征竞争。这种自监督学习技术和架构改进的共同设计产生了一个名为 ConvNeXt V2 的新模型族，它显著提高了纯粹的 ConvNets 在各种识别基准上的性能，包括 ImageNet 分类、COCO 检测和 ADE20K 分割。我们还提供了各种尺寸的预训练 ConvNeXt V2 模型，从参数数量为 370 万的高效 Atto 模型（在 ImageNet 上的 top-1 准确率为 76.7%），到使用公共训练数据达到最先进的 88.9% 准确率的 6.5 亿参数的 Huge 模型。

    [2301.00808] ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders (arxiv.org)