4月3号做的一个判断,这才一个多月,恍如隔世;
很多产品都号称能完成各种模型的fintune,deploy等全流程(如图二),然后很多甲方就觉得,你看这些产品都能做,why you?
但实际上大部分都是赶工出来的,wrap了各个项目,然后在诸如k8s 上 用python web.py/python train.py 跑起来的,没啥价值,仅限demo。
要接入业务系统的复杂度是很高的,你需要衔接上下游,比如把大模型接入大数据系统,ETL,流计算,如果要对一线提供APi要支持高并发,要有GPU管理和调度,这些随便一个工作就够团队吃一壶。
所以你仅仅要的是能跑起来一个模型? No,你要的是我不懂 Python 你让我随便一个小朋友就能让大模型直接应用于业务,快速验证可行性,如果没问题,快速部署上线面向客户 — 这才是 Byzer-LLM 的能力。
我们已经有客户在产品还没正式Byzer- LLM对外发布的时候就跑起来了对大模型对自己场景快速做验证了。
很多产品都号称能完成各种模型的fintune,deploy等全流程(如图二),然后很多甲方就觉得,你看这些产品都能做,why you?
但实际上大部分都是赶工出来的,wrap了各个项目,然后在诸如k8s 上 用python web.py/python train.py 跑起来的,没啥价值,仅限demo。
要接入业务系统的复杂度是很高的,你需要衔接上下游,比如把大模型接入大数据系统,ETL,流计算,如果要对一线提供APi要支持高并发,要有GPU管理和调度,这些随便一个工作就够团队吃一壶。
所以你仅仅要的是能跑起来一个模型? No,你要的是我不懂 Python 你让我随便一个小朋友就能让大模型直接应用于业务,快速验证可行性,如果没问题,快速部署上线面向客户 — 这才是 Byzer-LLM 的能力。
我们已经有客户在产品还没正式Byzer- LLM对外发布的时候就跑起来了对大模型对自己场景快速做验证了。
基于 Byzer 能在
1. 两周多的时间内做出一套图1的大模型Fintune和应用平台 Byzer-LLM ,
2. 能在三天时间内完成虚拟外教 Demo案例,
3. 能在一天时间内提供通用基于大模型的知识库解决方案
作为 data+ ai 的基础设施,这个能力应该是非常惊人的。而且我们也有商业化案例,我们在方方面面都有极大的创新,很多点上应该是世界范围内都属于创新。
现在很多用户对技术的理解就是市面上的产品技术都差不多,但我想说,Byzer 不一样[二哈]
1. 两周多的时间内做出一套图1的大模型Fintune和应用平台 Byzer-LLM ,
2. 能在三天时间内完成虚拟外教 Demo案例,
3. 能在一天时间内提供通用基于大模型的知识库解决方案
作为 data+ ai 的基础设施,这个能力应该是非常惊人的。而且我们也有商业化案例,我们在方方面面都有极大的创新,很多点上应该是世界范围内都属于创新。
现在很多用户对技术的理解就是市面上的产品技术都差不多,但我想说,Byzer 不一样[二哈]
四步从0到一构建基于向量数据库和大模型的问答知识库。
第一步,加载业务数据
第二步, 注册一个大模型和embedding 函数
第三步,构建向量数据库,并且将向量数据数据存储在数据湖
第四步, 构建qa 函数
第五张图验证效果,可以看到大模型已经知道 Byzer-lang是什么了;
第六张图用没有使用向量检索的,对自己不知道的一本正经胡说八道[嘻嘻]
第一步,加载业务数据
第二步, 注册一个大模型和embedding 函数
第三步,构建向量数据库,并且将向量数据数据存储在数据湖
第四步, 构建qa 函数
第五张图验证效果,可以看到大模型已经知道 Byzer-lang是什么了;
第六张图用没有使用向量检索的,对自己不知道的一本正经胡说八道[嘻嘻]
✋热门推荐