销售网站后台维护怎么做,济南网站哪家做的好,建站服务网络公司,wordpress 手机api接口生成式AI#xff08;Generative AI#xff09;已经成为全球范围内的一个重要趋势#xff0c;得到越来越多企业和研究机构的关注和应用。纽约时间7月26日#xff0c;亚马逊云科技数据库、数据分析和机器学习全球副总裁Swami Sivasubramanian在亚马逊云科技举办的纽约峰会上更…生成式AIGenerative AI已经成为全球范围内的一个重要趋势得到越来越多企业和研究机构的关注和应用。纽约时间7月26日亚马逊云科技数据库、数据分析和机器学习全球副总裁Swami Sivasubramanian在亚马逊云科技举办的纽约峰会上更是表示“生成式AI技术已经达到临界点。”
目前我们观察到随着机器学习、深度学习等技术的不断迭代生成式AI的应用趋势正朝着端到端的方向发展。而本次峰会上亚马逊云科技宣布的“生成式AI创新”也是将“端到端”显示的淋漓尽致进一步降低了生成式AI的使用门槛无论是业务用户还是开发者都可以从中受益来自千行百业的企业都能更专注于核心业务提高生产效率充分释放数据价值和生成式AI的潜力。 生成式AI的第一要务是“帮用户解决生产问题”
随着人工智能技术的快速发展生成式AI已经得到了越来越多的生产者和企业的关注和应用进入高速发展期。生成式AI技术可以通过学习大量的数据和知识然后生成新的数据和内容例如图像、文本、声音等其可以应用于许多领域例如自然语言处理、图像处理、语音识别等。在生产环境中生成式AI技术可以用来自动化许多繁琐的工作例如编写代码、设计产品、翻译文本等。帮助企业提高生产效率、降低生产成本、提高产品质量为企业的创新和发展提供强有力的支持。
在生成式AI技术的发展中推动技术研发厂商不断前进的动力就是用户“既要又要还要”的业务需求和技术需求。在满足用户需求方面亚马逊云科技是业内做的相当不错的厂商前段时间推出的Amazon Bedrock便是一大利器通过Amazon Bedrock文本生成、聊天机器人、搜索、文本摘要、图像生成、个性化情景式产品推荐等功能实例可以完美集成于应用中。 从训练和部署、架构扩展层面一个好的模型需要易于训练和部署、提高效率并能够随着业务需求变化进行扩展和升级。Amazon Bedrock提供可扩展的API和无服务器体验客户可以使用自有数据基于基础模型进行定制并使用熟悉的工具和能力进行集成和部署无需管理基础设施降低成本。用户还可以使用SageMaker、Experiments和Pipelines等功能实现模型的集成和自动化管理、部署。
在数据安全层面好的模型需要具备安全的数据存储能力能够保护用户的数据不被泄露和滥用。而Bedrock非常注重数据的安全性和隐私保护对所有数据都进行了加密并且不会离开客户的虚拟私有网络VPC。此外Amazon Bedrock还提供了可配置的数据共享选项客户可以控制数据共享和使用确保数据的完整性和机密性。
在模型选择层面一个好的模型需要具备丰富的模型选择能够满足不同领域和场景的需求。用户需要能够选择适合自己业务的模型并能够灵活地组合和集成多个模型以实现更好的业务效果。Bedrock提供了丰富的的基础模型选择满足不同领域和场景的需求使得用户可以更加灵活地选择和组合模型满足自身的业务需求
● AI21 Labs开发的的多语种大语言模型系列Jurassic-2可根据自然语言指令生成文本内容
● Anthropic开发的大语言模型Claude能够执行多种对话和文本处理任务
● Stability AI开发的文生图基础模型Stable Diffusion能够生成独特、写实、高清的图像、艺术作品、商标和其它设计图
● Anthropic接入到Amazon Bedrock的最新语言模型Claude 2可以在每个对话任务提示中使用10万个标记能处理数百页文本甚至整本书。相比之前版本还可以撰写长篇文件长度可达几千个标记
● Stability AI将发布最新版文生图模型套件Stable Diffusion XL 1.0能够生成更逼真的影视、电视、音乐和教学视频具有更精细的图像和构图细节。
● 亚马逊云科技新增的基础模型供应商Cohere将提供更直观地生成、检索和汇总信息的基础模型服务。
本次峰会上亚马逊云科技宣布全面扩展其全托管基础模型服务Amazon Bedrock发布变革性的新功能Amazon Bedrock Agents该功能将助力开发者轻松创建全托管的AI Agents帮助开发者研发提效解决开发过程中的复杂度问题。目前很多专业开发者开始使用ChatGPT进行软件开发事实表明ChatGPT可以为开发工作提供帮助但在具体的业务场景中开发者需要的不仅是可以编代码的工具而是从源头降低软件开发复杂度的工具。想要从源头入手降低软件的复杂度就意味着开发者需要设计良好的架构、简化功能和模块开发、采用合适开发工具等方法从而来减少软件中的不必要的复杂度提高软件的可维护性、可读性和可扩展性。而亚马逊云科技此次新推出的Amazon Bedrock Agents便有效解决了这些难题是Amazon Bedrock的一大看点也是生成式AI领域在降低开发复杂度的新节点。 向量数据库是生成式AI的基石
随着大模型和生成式AI技术的高速发展数据安全和数据自定义成为了技术发展的基础以往只存储结构化数据的企业数据库已不能满足需求于是向量数据库成为了全球数据库发展的重要趋势。
向量数据库当前被视为生成式AI的基石因为其存储和处理的数据都是向量形式而生成式AI模型则需要使用向量数据进行训练和推理它提供了高效的数据存储和查询方式并且可以与深度学习框架无缝集成这种集成使得生成式AI模型能够更快地学习和生成更准确的数据。
目前在研究大模型、生成式AI的厂商几乎都在同时研究向量数据库技术基于生成式AI、大模型的训练场景各家的技术成果目前几乎没有太大差距。然而在本次纽约峰会上亚马逊云科技新发布的适用于Amazon OpenSearch Serverless的向量引擎正式可用后该向量引擎支持简单的API调用可用于存储和查询数十亿个Embeddings。
Embeddings是一种将文本、图像、声音等数据转换为向量表示的方法以便于使用机器学习算法进行处理目前在研发向量数据库的厂商都在相关方面展开了探索。亚马逊云科技本次在该方面的新发布完全是从用户需求出发。
要知道正常情况下的Embeddings应存储在靠近源数据的位置一系列因素都将影响企业如何选择最适合自己的选项比如当前数据存储位置、对数据库技术的熟悉程度、向量维度的扩展、Embeddings的数量和性能需求等因此亚马逊云科技提供了三个选项满足更高级的向量数据存储需求
● Amazon Aurora PostgreSQL兼容版关系型数据库支持pgvector开源向量相似性搜索插件对需要存储和搜索大量向量数据的应用场景帮助意义很大
● 分布式搜索和分析服务Amazon OpenSearch带有k-NNk最近邻插件和适用于Amazon OpenSearch Serverless的向量引擎可以处理大规模的向量数据、提供高效的搜索服务
● 兼容PostgreSQL的Amazon RDS关系型数据库支持pgvector插件可以满足企业日常对于PostgreSQL数据库的兼容性和向量数据存储需求。
由于向量数据通常具有很高的维度和稀疏性采用传统的存储方式会占用大量的存储空间在向量数据存储和查询过程中需要执行许多复杂的计算所以如何对向量数据进行压缩和优化、优化算法以提高计算效率是向量数据存储技术领域持续探索的问题而此次亚马逊云科技新发布的向量引擎也为解决这两个技术壁垒提供了有力支持同时从用户的需求层来看这也是向量数据存储技术的新突破。 生成式AI同样需要“加速”
生成式AI作为一种强大的技术目前已在多个领域展现出了巨大潜力。然而在实际应用中尽管其强大的创造力和表达能力令人惊叹但生成式AI在“速度”方面仍有很大的进步空间。GPU作为专门用于并行计算的处理器可以同时处理多个数据单元来提高计算速度。在生成式AI的训练中需要进行的大量矩阵运算和反向传播等计算、处理大量的数据和模型参数而这些计算任务均可以通过GPU进行并行计算以达到加快计算速度降低训练时间的目的。本次峰会上新发布的Amazon EC2 P5实例作为亚马逊云科技平台上的一种强大的计算实例类型便很好地满足了目前用户在生成式AI训练过程中的GPU需求。
Amazon EC2 P5实例以其出众的硬件配置提供了卓越的计算、存储、横向拓展性能它搭载了8个NVIDIA H100 Tensor Core GPU拥有640GB高带宽GPU内存同时提供第三代AMD EPYC处理器、2TB系统内存和30TB本地NVMe存储。同时Amazon EC2 P5实例还提供3200Gbps的聚合网络带宽并支持GPUDirect RDMA从而能够绕过CPU进行节点间通信实现更低的延迟和高效的横向扩展性能。
NVIDIA H100 GPU具有新的转换器引擎可智能地管理和动态选择FP8和16位计算与上一代A100 GPU相比可在LLM上提供更快的DL训练加速。对于HPC工作负载与A100 GPU相比NVIDIA H100 GPU具有新的DPX指令可进一步加速动态编程算法。这种计算能力对于生成式AI模型中大量的矩阵计算和向量运算至关重要与上一代基于GPU的实例相比训练时间最多可缩短6倍。通过利用P5实例的高性能计算资源可以显著降低训练成本加快生成式AI的处理速度。
为了能够满足生成式AI模型的大量训练数据、模型参数及中间结果的大量数据存储和加载需求Amazon EC2 P5实例还提供了大容量的本地存储空间使得可以更高效地管理和处理大规模的数据集在本地存储的支持下避免频繁的数据传输和加载从而进一步提升生成式AI任务的效率。 端到端的生成式AI“未来已至”
无论是完全托管式的Amazon Bedrock还是适用于Amazon OpenSearch Serverless的向量引擎、Amazon EC2 P5实例亚马逊云科技结合用户需求在生成式AI“端到端”方面的探索越来越深入。作为GenAI领域的技术领导者亚马逊云科技凭借先进的技术、庞大的生态体系、丰富的实践经验和可靠的安全性为自己的用户们提供了越来越全面的支持和几近完美的解决方案来推动端到端生成式AI的发展。
除了已经提到的几个亮点技术在本次峰会上亚马逊云科技还推出了其他四项生成式AI技术与应用——AI编程助手Amazon Codewhisperer通过提供丰富的模型和算法库来快速构建和训练生成式AI模型使得开发者能够更轻松地进入生成式AI领域并在图像、语音和文本生成方面得到更好的支持和指导亚马逊云科技将Amazon Bedrock的大语言模型能力与Amazon QuickSight Q的自然语言问答功能相结合提供生成式BI功能提高了数据分析的效率和易用性同时结合数据可视化Quicksight将数据分析结果以更直观丰富的方式展现让用户更好地理解和利用数据。此外亚马逊云科技还通过Amazon Entity Resolution赋能企业提升数据质量、获取客户洞察推出Amazon HealthScribe利用生成式AI助力构建医疗应用程序。
一直以来亚马逊云科技致力于降低生成式AI门槛使更多的人能够轻松尝试和应用这项技术。他们希望成为生成式AI的普惠领导者让更多的人从中受益。
