始智AI wisemodel.cn开源社区
始智AI wisemodel.cn社区将打造成huggingface之外最活跃的中立开放的AI开源社区。欢迎《》以及《》。wisemodel社区上升级了体验空间,,并。
始智AI wisemodel.cn开源社区继5月中旬上线了在线体验功能之后,近期又完成了新一轮的更新迭代,今天正式推出开源大模型API服务和托管功能,API服务创建只需两步,无需任何代码开发,人人可以创建专属的API服务。平台上主要的开源大模型均可以直接在线部署成API服务,API服务支持OpenAI API兼容模式。同时大家基于常用开源大模型微调之后的模型,发布到wisemodel社区之后,wisemodel社区可以直接提供在线API服务托管(非开源模型可以私有模型和私有API服务形式发布)。
至此,wisemodel社区已经完全具备了开源大模型在线推理服务的全部功能和能力,期待各类 大模型应用开发合作伙伴来wisemodel社区在线部署模型服务,或将自己微调的大模型API服务托管到wisemodel社区API服务板块。此外,欢迎各类算力供应合作伙伴一起合作,特别是愿意提供算力资源联合运营的伙伴,为wisemodel社区用户提供算力支撑。
为感谢社区用户对wisemodel社区的持续支持,GLM4-9B-Chat和Yi-1.5-9B-Chat两个模型即日起1个月内免费调用,欢迎大家尝试和体验。如果使用过程中遇到任何问题也可以随时联系 社区 运营 助手wisemodel。由于算力限制暂时只能直接在线部署20B以下的模型,若需要部署更大模型的模型可以先联系 社区运营助手wisemodel(文末“关于wisemodel更多”有wisemodel的微信二维码)。
https://wisemodel.cn/api(API服务模块地址 )
后续我们将继续支持多模态模型、文生图等更多类型的模型以及RAG和Agent服务等,不久之后将进一步上线开源大模型的在线微调功能和GPU算力灵活调用等能力,欢迎大家继续关注wisemodel的持续更新动态。欢迎更多的志愿者《》,一起共建中立、开放的AI开源社区平台,一起践行让AI更简单的使命。
1、API服务入口
用户可以在导航栏的“应用”板块看到“API服务”子板块, 当进入“API服务”子板块时,可以看到当前所有的公开的API服务。公开的API服务目前平台所有注册用户都可以免费访问和调用。创建的私有API服务只能登录时前往“用户中心-我的资源-API服务”查看。
“API服务” 子板块
2、API服务详情
从API服务板块点击进入运行中的API服务项目时,可以进入API服务详情页面,在详情页面的左侧可以直接进行在线体验,右侧则是API服务的调用说明文档,根据右侧的API服务调用说明,获取API key之后即可在自己的应用中应用wisemodel上的API服务。
API服务详情
API调用时请先点击“获取API Key”按钮,或者从“用户中心-token与key”处获取API调用时的key,如果还没有API key的可以直接点击“添加新的API Key”。
API Key获取及创建
3、API服务创建
在wisemodel社区进行API服务创建,只需两步即可完成,无需任何代码开发,任何人都可以在线创建专属的API服务。
在“应用”模块页面的“新建API服务”按钮,以及“可在线体验模型”的模型详情页面的“在线部署-API部署”按钮
“新建API服务”按钮
“在线部署-API部署”按钮
点击“新建API服务”或“ 在 线部署- API部 署”按钮之后,弹出API部署的窗口,第一步是填写基础信息,选择需要部署的模型镜像,设置配置的类型,选择硬件配置,填写中英文名称,选择好类型和发布者,并设置公开/私有的属性(私有API服务创建成功之后,前往“用户中心-我的资源-API服务”获取),然后直接点击“下一步”进入确认订单环节。
基础信息环节
确认订单环节,可以选择算力的计费方式,按量计费时可以设置自动停止时间,若未设置则默认为手动停止,手动停止需自行前往“用户中心-我的资源-API服务”进行停止操作。
确认订单环节
API服务启动中
点击提交订单之后提示创建成功,并跳转到了API服务板块页面,刚创建的API服务会是启动中的状态,通常启动中会持续1分钟左右,启动后状态自动调整为运行中,此时就可以点击进入API服务详情页面,可以开始调用API服务了。
4、API服务调用
API调用参考API服务详情页右侧的调用示例代码,平台上给出了Python和Node的调用示例,以及openAI兼容模式的调用示例代码。其他语言的调用也类似,可以参与已有的示例代码,若遇到什么问题可以联系社区运营助手wisemodel(文末“关于wisemodel更多”有wisemodel的微信二维码)。
5、API服务停止
如果有固定的停止时间,包括包周/包月计费方式的API服务,以及按量计费且设置了自动停止时间的API服务,到期之后系统会自动停止API服务,届时API服务调用也将失效。包周/包月计费方式的API服务暂不支持提前停止, 在 “用户中心-我的资源-API服务 ”可以进行续费操作。
需要手动停止的按量计费的API服务,用户可以在“用户中心-我的资源-API服务”的操作列进行“关闭”的操作。
6、应用开发合作伙伴
各类基于开源大模型进行应用开发的合作伙伴,欢迎直接来wisemodel上在线部署API服务。基于常见开源大模型微调之后的领域模型(非开源),也可以私有模型和私有API服务的方式托管在wisemodel平台上,降低模型部署和运维方面的成本。非开源模型的部署需求,请先联系 社区 运营 助手wisemodel(文末“ 关于wisemodel更多” 有wisemodel的微信二维码 )。
7、算力供应合作伙伴
随着wisemodel社区功能逐渐完成,平台用户的算力需求将会持续增加,欢迎各类算力供应合作伙伴一起探讨合作机会,特别是有意向联合运营的资源以及已经建成但运营能力有限的资源等,若有意向合作的算力供应合作伙伴,可以联系社区运营助手wisemodel(文末“关于wisemodel更多”有wisemodel的微信二维码)。
wisemodel社区始终坚持“中立、开放、共建、共创、合作”五项基本原则,我们希望跟各类合作伙伴共同建设和打造AI开源社区。 欢迎更多科研院所、企业等从事开源工作的朋友,将开源的模型、代码、和数据集等开源成果都发布到wisemodel社区。欢迎扫码持续关注wisemodel社区发展:
扫码持续关注
----- END -----
wisemodel相关
系统升级
系列模型:
关于wisemodel更多
1
欢迎持续关注和支持
开源社区建设需要长期坚持和投入,更需要广大用户的积极参与、贡献和维护,欢迎大家加入wisemodel开源社区的志愿者计划和开源共创计划。期待更多开发者将开源成果,包括模型、数据集和代码等发布到 wisemodel.cn 社区,共建中立、开放的AI开源社区生态。欢迎扫码添加wisemodel微信,申请加入wisemodel社群,持续关注wisemodel.cn开源社区动态。
2
欢迎加盟wisemodel开源社区
始智AI wisemodel社区自2023年9月上线以来,逐渐成为影响力日益扩大的中立开放的AI开源社区,为了加快公司发展,我们长期需要技术、运营等人才加盟,技术侧重在AI infra、后端开发,熟悉K8S、模型训练和推理等技术, 以及熟悉开发者生态运营的成员,欢迎感兴趣的朋友加盟,可以通过添加wisemodel微信,或者将简历投递到邮箱:liudaoquan@wisemodel.cn
3
欢迎投稿优质内容
欢迎投稿分享人工智能领域相关的优秀研究成果,鼓励高校实验室、大企业研究团队、个人等,在wisemodel平台上分享各类优质内容,可以是AI领域最新论文解读、最新开源成果介绍,也可以是关于AI技术实践、应用和总结等。投稿可以发邮件到liudaoquan@wisemodel.cn,也可以扫码添加wisemodel微信。
4
关于wisemodel开源社区
始智AI wisemodel.cn开源社区由清华校友总会AI大数据专委会副秘书长刘道全创立,旨在打造和建设中立开放的AI开源创新社区,将打造成“HuggingFace”之外最活跃的AI开源社区,汇聚主要AI开源模型、数据集和代码等,欢迎高校科研院所、大型互联网公司、创新创业企业、广大个人开发者,以及政府部门、学会协会、联盟、基金会等,还有投资机构、科技媒体等,共同参与建设AI开源创新生态。
向上滑动查看
热门跟贴