数据分析/数据科学是商业世界中的重要工具,可以帮助企业更好地理解市场和客户需求,从而优化业务和提高竞争力。
传统的数据分析有两种主要方式:编写代码和使用BI工具可视化拖拽。虽然这两种传统的数据分析方式仍然具有重要意义,但是它们在如今的人工智能和AIGC的大环境下已经有点“过时”了,我们需要一种更加智慧、智能的数据分析范式。
SmartNoteBook(以下简称SNB)结合大语言模型开发出了数据分析AI伴侣的新功能:数据智灵,用户可以通过自然语言描述数据分析需求生成、编辑、bug修复和文档注释Python或SQL 代码,这种方式可以帮助用户更加轻松地处理和分析数据,尤其是对于那些不熟悉编程的人员来说,使用自然语言描述数据分析需求会更加直观和方便。
数据智灵是人工智能驱动功能,可以帮助数据分析或数据科学方面做更多的工作。这个功能是实验性的、还有一些小故障和缺陷。目前为止:不应该依赖人工智能生成的代码来准确、完整或没有偏见;是一种增强而非取代人类洞察力和判断力的方式。
数据智灵(AI数据分析伴侣)的功能还需要您(人类)点击一个应用(确认)按钮。由您来确定所写的内容是否正确,确定是否接受生成的代码(应用/丢弃):
用户在notebook内使用数据智灵插件,输入自然语言描述需求。同时,插件会读取当前kernel或数据库的上下文信息(例如数据集的结构信息、表的结构信息等元数据),按照prompt模板提供给语言模型。Agent根据自然语言需求描述和上下文信息组合的prompt提供给大模型,生成代码(python或SQL代码)。Python内核(kernel)执行代码,并根据执行结果调整prompt,重新生成代码,或进行Edit(修改代码)、fix(修复)。
插件基于基础大语言模型(例如GPT3.5),在不同的场景下(例如特定分析场景或建模场景下、或针对SQL等)进行微调,以提高生成代码的质量。例如,如果用户输入了关于某个特定场景主题的自然语言,插件可以根据这个主题微调模型进行生成。
Notebook和AIG(ChatGPT、Bard等)的相互融合可以改变数据分析的新范式。Notebook作为主要的数据分析工具之一,提供了交互式的界面,可以让分析人员在一个地方进行数据分析、可视化和代码编写。而AIG(ChatGPT)则可以在Notebook中作为一个辅助工具,帮助分析人员快速生成代码或解决一些数据分析中的痛点问题。这样可以有效提高数据分析的效率和质量,同时降低技术门槛和人力成本,让更多的人可以参与到数据分析中来。
聚类分析是一种将数据集中的对象按照相似性进行分组的方法。在数据降维后,利用可视化来研究不同数据点之间的分布和相似性,以揭示潜在的数据模式和结构。以iris 数据集为示例。
上述整个操作过程如下:
视频加载中...
SQL是企业和组织的核心数据管理、数据处理和数据分析的核心语言。在数据科学领域,SQL的重要性不言而喻,它易学易用且与脚本语言集成,广泛应用于数据科学流程。
如果你想玩转数据,那你一定要会SQL。
接下来我们Demo一下通过数据智灵生成SQL示例:
上述整个操作过程如下:
视频加载中...
结合AI与Notebook的实践和应用,极大地利用了AI的能力,提高了数据分析的效率并降低了技术门槛。通过数据智灵的AI伴侣/辅助工具,用户可以通过自然语言描述数据分析需求,生成、编辑和修复代码,从而更轻松地处理和分析数据。这种方式使得数据分析对于不熟悉编程的人员来说更加直观和方便。同时,Notebook作为主要的数据分析工具,提供了交互式界面和可视化,与AI相结合可以快速生成代码、解决问题,进一步提高数据分析的效率和质量。这样的实践不仅充分利用了AI的能力,也让更多的人能够参与到数据分析中,推动了数据驱动决策的应用和普及化。
SmartNoteBook(简称:SNB)是一款现代化的Notebook工具,它是一个开箱即用、云原生、协作式的在线数据科学与分析平台。SNB具有以下特点:
SmartNoteBook致力于实现从数据接入到数据价值的全流程,使数据处理和分析变得更加简单、高效和可协作。通过SNB,您可以轻松地进行数据处理、分析和可视化,并通过共享报告和仪表盘将数据的洞察传达给相关人员。
页面更新:2024-02-28
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号