Zeo's Blog

从头训练小模型: 1 预训练(Pretrain):简介从头训练小模型是我个人对大语言模型(LLM)学习中的重要部分。 通过对一个小规模模型的最小化复现实践，我不仅能够深入理解模型训练的基本流程，还可以系统地学习其中的核心原理和实际运行机制。这种实践性的学习方法让我能够直观地感受模型训练的每个环节，同时掌握相关的技术细节和实现方式。 目前的工作中,确实存在某些任务是有这种小模型的需求, 也在学习过程中理解运作逻辑, 力求用最小的资源消耗情况下,实现某些子任务的最小模型实现. ALL in AI 代码已经上传 https://github.com/godzeo/miniGPT 那么这个系列第一部就是 pretrain 预训练(Pretrain)我理解训练模型的第一步就是学习知识。 LLM首先要学习的并非直接与人交流，就像学生需要先掌握基础知识一样，AI也需要大量”阅读”各种资料来学习。它会阅读维基百科、新闻和书籍，从中学习知识和规律。这个学习过程是自主的，不需要老师（人类）在旁边指导。 AI的主要任务很简单：学会”接下文”。比如当看到”天王盖地虎”时，它能自动接上”宝塔镇河妖”。这就像我们 ...

0x00 Background为什么研究这个？ChatGPT在国内外都受到了广泛关注，很多高校、研究机构和企业都计划推出类似的模型。然而，ChatGPT并没有开源，且复现难度非常大，即使到现在，没有任何单位或企业能够完全复现GPT3的能力。最近，OpenAI发布了GPT4模型，它支持图文多模态，相较于ChatGPT，其能力大幅提升，似乎预示着第四次工业革命以通用人工智能为主导的到来。 无论是国内还是国外，与OpenAI的差距越来越大。大家都在竭力追赶，在这场技术革新中竞争激烈，目前许多大型企业都采取了闭源的研发策略。ChatGPT和GPT4的细节非常少，也不像之前发布论文时那么详细。OpenAI的商业化时代已经到来。当然，也有一些组织或个人在开源平台上进行了探索。本文将对这些探索进行总结，并将持续跟踪和更新开源平台的情况。 0x01一种平价的chatgpt实现方案 下面推荐一下我最近看的几个比较火的大模型 ChatGLMhttps://github.com/THUDM/ChatGLM-6B ChatGLM是一个对话模型，由清华技术成果转化的公司智谱AI开源的GLM系列推出 ...

0x00 背景前不久，Meta前脚发布完开源大语言模型LLaMA， 随后就被网友“泄漏”，直接放了一个磁力链接下载链接。 然而那些手头没有顶级显卡的朋友们，就只能看看而已了 但是 Georgi Gerganov 开源了一个项目llama.cpp ggerganov/llama.cpp: Port of Facebook’s LLaMA model in C/C++ (github.com) 次项目的牛逼之处就是没有GPU也能跑LLaMA模型 大大降低的使用成本，本文就是时间如何在我的 mac m1 pro 上面跑起来这个模型 llama.cpp：提供了一种模型量化和在本地CPU上部署方式文本介绍了如何使用llama.cpp工具将深度学习模型进行量化并在本地CPU上部署的详细步骤。 以下是具体步骤的解释： ç 0x01 Step1 环境准备 高版本python 3.10 1234567pip install protobuf==3.20.0pip install transformers 最新版pip installsentencepiece （0.1.9 ...

0x00 前提这个是前几个月的漏洞，之前爆出来发现没人分析就看了一下，也写了一片 Nosql注入的文章，最近生病在家，把这个写一半的完善一下发出来吧。 0x01 介绍YApi是一个可本地部署的、打通前后端及QA的、可视化的接口管理平台。 YApi 是高效、易用、功能强大的 api 管理平台，旨在为开发、产品、测试人员提供更优雅的接口管理服务。可以帮助开发者轻松创建、发布、维护 API，YApi 还为用户提供了优秀的交互体验，开发人员只需利用平台提供的接口数据写入工具以及简单的点击操作就可以实现接口的管理。在其1.12.0版本之前，存在一处NoSQL注入漏洞，通过该漏洞攻击者可以窃取项目Token，并利用这个Token执行任意Mock脚本，获取服务器权限。 [YMFE/yapi: YApi 是一个可本地部署的、打通前后端及QA的、可视化的接口管理平台 (github.com)] https://github.com/YMFE/yapi 当时年底爆出来的从未授权注入到rce的利用，就是从一个buffix出来的，就是下面这个链接 参考链接： https://gith ...

0x00 前提最近在测试公司的 oauth 认证方面的问题，要再去熟悉一下这块，所以把这块写一下。 0x01 OAuth2.0 概念OAuth是一个关于授权（authorization）的开放网络标准，目前是最常见最通用的一个授权协议。 什么地方是OAuth2.0，其实这个东西非常的常见， 我们的快捷登录其实都是这个，拿这个举例子 那么为什么要用这个呢这个？ 其实道理很简单，我们的网站首先使用这个快捷登录肯定是很方便，那么第三方网站和我们网站肯定是不能互相相信对方的，不可能将用户信息交给对方保存，所以一般情况下OAuth允许用户授予此访问权限，而无需将其登录凭据暴露给请求的应用程序。这意味着用户可以选择他们想要共享的数据，而不必将其帐户的账号密码交给第三方。 0x02 流程梳理为了方便理解，直接用例子展示，首先我们要分清楚各个角色，我们简单分出4个部分： resource owner（资源拥有者）：就是用户 resource server（资源服务器）：我们想要快捷登录的的网站 zeo.cool User Agent：指浏览器。 authorization server（认 ...

0x00 前提前几天爆出一个 ImageMagick 漏洞 ，可以造成一个任意文件读取的危害比较可观，最近有时间来复现学习一下 主要是影响的范围很大，很多地方都有这个问题，需要来学习一下 0x01 介绍ImageMagick 是一个免费的开源软件套件，用于显示、转换和编辑图像文件。它可以读取和写入 200 多种图像文件格式，因此在全球网站中找到它是很常见的，因为总是需要处理用户个人资料、目录等的图片。 在ImageMagick 7.1.0-51版本及以前 CVE-2022-44268：ImageMagick 7.1.0-49 容易受到信息泄露的攻击。当它解析PNG图像（例如，调整大小）时，生成的图像可能嵌入了任意远程文件的内容（如果ImageMagick二进制文件有权读取它）。 0x02 漏洞介绍CVE-2022-44268：任意远程泄露当 ImageMagick 解析 PNG 文件时，例如在调整大小操作中，生成的图像可能嵌入了来自网站的任意远程文件的内容（如果 magick 二进制文件有权读取它）。 恶意行为者可以制作 PNG 或使用现有 PNG 并添加文本块类型（例如 tE ...

0x00 什么是ws劫持在Websocket的业务中，其中常见的漏洞是ws劫持，全称为跨站点CSWSH(Cross-Site WebSocket Hijacking)跨站WebSocket劫持漏洞。 WebSocket概念 WebSocket是通过HTTP启动的双向、全双工通信协议。它们通常用于流式传输数据和其他异步流量的现代Web应用程序中。最常见的是网站中的聊天机器人 有人要问了：那他和同为协议的且使用更普遍的HTTP协议有什么区别呢？ 首先呢WebSocket是HTML5推出的新协议，是基于TCP的应用层通信协议，它与http协议内容本身没有关系。 同时WebSocket 也类似于 TCP 一样进行握手连接，跟 TCP 不同的是，WebSocket 是基于 HTTP 协议进行的握手，它在客户端和服务器之间提供了一个基于单 TCP 连接的高效全双工通信信道 WebSocket连接是通过HTTP发起，通常是长期存在的。消息可以随时向任何一个方向发送，并且本质上不是事务性的。连接通常保持打开和空闲状态，直到客户端或服务器发送消息。 简单的说，就是http是无状态的，发送完了就结束 ...

0x00 linux 挂D盾扫描方法这个方法可以解决Linux下无法使用D盾查杀webshell的困扰 利用ssh将Linux文件系统挂在到win上面，然后扫描就好了 0x01 环境安装安装D盾D盾都用过吧，应急经常用来扫一下是否存在 Webshell D盾下载地址 D盾防火墙 (d99net.net) Tips 12如果在 win10 win11 运行有问题，可以选择 win7 的兼容模式最新版是正常使用的 安装sshfssshfs解决Linux下无法使用D盾查杀webshell的困扰 先安装驱动 https://github.com/winfsp/winfsp/releases/download/v1.12.22339/winfsp-1.12.22339.msi sshfs https://github.com/evsar3/sshfs-win-manager/releases/download/v1.3.1/sshfs-win-manager-v1.3.1.zip 0x02 配置先利用SSH连接，然后将硬盘映射过来 然后链接 出现新的磁盘直接挂载到win上面了，后面就简 ...

文章已经加密 最后送大家今年感受比较深的一句话： 1234567891011生活可能不像你想象的那么好但是也不会像你想象的那么糟人的脆弱和坚强都超乎了自己的想象有时候脆弱的一句话会让你泪流满面有时候你发现自己咬着牙已经走过了很长的路--莫泊桑

0x00 最近换新电脑了配置要重新配一遍，记录一下，方便大家以后参考。 设备：MBP （M1 PRO） 系统：macOS Ventura 13.1 0x01软件下载地址https://www.macw.com/ https://macapp.org.cn/app/ 安装Brew(这个非常的好用，自动换源)1/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)" 安装Command Line Tools1234安装安装Command Line Toolsxcode-select --install Oh My Zsh 安装 & 配置GitHub: 1sh -c "$(curl -fsSL https://raw.github.com/robbyrussell/oh-my-zsh/master/tools/install.sh)" Gitee ( 国内镜像 ) 1sh -c "$(curl -fsSL h ...