Đột phá trong công nghệ tạo video đa mô hình bằng AI và ảnh hưởng của nó
Gần đây, một trong những thay đổi đáng chú ý nhất trong lĩnh vực AI là sự đột phá của công nghệ tạo video đa phương thức. Công nghệ này đã phát triển từ việc tạo video chỉ dựa trên văn bản ban đầu, đến việc tích hợp văn bản, hình ảnh và âm thanh trong một quy trình tạo ra toàn diện. Sự tiến bộ này đã mang lại nhiều trường hợp đột phá công nghệ đáng chú ý.
Một công ty công nghệ nổi tiếng đã mã nguồn mở một khung công tác, có thể chuyển đổi video đơn thành nội dung 4D góc nhìn tự do, với mức độ chấp nhận của người dùng lên tới 70.7%. Điều này có nghĩa là AI hiện tại có khả năng tự động tạo ra hiệu ứng xem từ bất kỳ góc độ nào, điều này trước đây cần đến đội ngũ mô hình 3D chuyên nghiệp để hoàn thành.
Một công ty khác đã ra mắt nền tảng tuyên bố có thể tạo ra video "chất lượng điện ảnh" dài 10 giây từ một bức ảnh. Mặc dù tuyên bố này có thể có phần phóng đại, nhưng vẫn đáng mong đợi phiên bản chuyên nghiệp sắp ra mắt.
Công nghệ được phát triển bởi bộ phận nghiên cứu AI của một tập đoàn công nghệ quốc tế có thể đồng bộ tạo ra video 4K và âm thanh môi trường. Điểm nổi bật chính của công nghệ này là việc đạt được sự匹配 ở cấp độ ngữ nghĩa thực sự, vượt qua thách thức của việc đồng bộ âm thanh và hình ảnh trong các cảnh phức tạp, chẳng hạn như sự tương ứng chính xác giữa hành động đi bộ trong hình ảnh và âm thanh bước chân.
Một mô hình AI của một công ty truyền thông xã hội, sở hữu 8 tỷ tham số, có thể tạo ra video 1080p trong 2.3 giây, với chi phí 3.67 nhân dân tệ/5 giây. Mặc dù chất lượng tạo ra trong các cảnh phức tạp còn có không gian để cải thiện, nhưng việc kiểm soát chi phí đã khá tốt.
Các đột phá công nghệ này có giá trị và ý nghĩa to lớn trong việc cải thiện chất lượng video, giảm chi phí sản xuất và mở rộng các ứng dụng. Xét về mặt kỹ thuật, độ phức tạp của việc tạo video đa phương thức là cấp số nhân. Nó không chỉ phải xử lý các điểm pixel của hình ảnh đơn lẻ, mà còn phải đảm bảo tính nhất quán theo thứ tự thời gian của video, đồng bộ âm thanh, cũng như tính nhất quán trong không gian 3D. Hiện nay, thông qua việc phân tách mô-đun và hợp tác giữa các mô hình lớn, nhiệm vụ phức tạp này đã trở nên khả thi.
Về chi phí, đằng sau là sự tối ưu hóa của chính kiến trúc suy diễn, bao gồm chiến lược sinh phân lớp, cơ chế tái sử dụng bộ nhớ đệm và phân bổ tài nguyên động. Những tối ưu hóa này đã làm giảm đáng kể chi phí sản xuất video.
Những tiến bộ công nghệ này đã tạo ra tác động lớn đến lĩnh vực ứng dụng. Sản xuất video truyền thống là một ngành công nghiệp cần đầu tư lớn, yêu cầu nhiều thiết bị, không gian, diễn viên và quá trình hậu kỳ. Trong khi đó, công nghệ AI đã đơn giản hóa quá trình này thành việc nhập từ khóa và chờ đợi vài phút, đồng thời còn có thể đạt được những góc nhìn và hiệu ứng mà việc quay phim truyền thống khó có thể thực hiện được. Điều này có thể dẫn đến việc tái cấu trúc toàn bộ nền kinh tế sáng tạo.
Những thay đổi trong nhu cầu của công nghệ AI Web2 đã ảnh hưởng đến AI Web3. Đầu tiên, cấu trúc nhu cầu về sức mạnh tính toán đã thay đổi, việc tạo video đa mô hình cần sự kết hợp sức mạnh tính toán đa dạng, điều này có thể làm tăng nhu cầu về sức mạnh tính toán phân tán không sử dụng. Thứ hai, nhu cầu về việc gán nhãn dữ liệu cũng sẽ tăng cường, việc tạo video chuyên nghiệp cần mô tả cảnh chính xác, hình ảnh tham khảo, phong cách âm thanh và các dữ liệu chuyên môn khác. Cuối cùng, AI từ việc phân phối tài nguyên quy mô lớn tập trung dần chuyển sang hợp tác mô-đun, điều này bản thân đã tạo ra nhu cầu mới cho các nền tảng phi tập trung.
Trong tương lai, sức mạnh tính toán, dữ liệu, mô hình và cơ chế khuyến khích có thể tạo thành một vòng quay tự củng cố, thúc đẩy sự hòa nhập giữa các cảnh Web3 AI và Web2 AI. Xu hướng này sẽ mang lại những cơ hội và thách thức mới cho toàn bộ hệ sinh thái AI.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
12 thích
Phần thưởng
12
5
Chia sẻ
Bình luận
0/400
NotSatoshi
· 14giờ trước
À này, Disney sắp bị tiêu diệt rồi.
Xem bản gốcTrả lời0
BoredApeResistance
· 14giờ trước
Còn đang khoe à? Tỷ lệ công nhận 70% mà cũng dám khoe.
Xem bản gốcTrả lời0
NewDAOdreamer
· 14giờ trước
Mỗi bức tranh đều có thể biến thành video, chơi vui quá!
Xem bản gốcTrả lời0
GasBandit
· 14giờ trước
又是一波镰刀đồ ngốc不停chơi đùa với mọi người
Xem bản gốcTrả lời0
HashBandit
· 14giờ trước
bruh... không thể khai thác eth nữa nhưng giờ AI đang cướp việc render nữa sao? smh cũng giống như khi asics đã giết chết trang trại gpu của tôi vào năm '18
Đột phá trong việc tạo video đa mô hình AI: Cơ hội mới trong sự kết hợp giữa Web2 và Web3
Đột phá trong công nghệ tạo video đa mô hình bằng AI và ảnh hưởng của nó
Gần đây, một trong những thay đổi đáng chú ý nhất trong lĩnh vực AI là sự đột phá của công nghệ tạo video đa phương thức. Công nghệ này đã phát triển từ việc tạo video chỉ dựa trên văn bản ban đầu, đến việc tích hợp văn bản, hình ảnh và âm thanh trong một quy trình tạo ra toàn diện. Sự tiến bộ này đã mang lại nhiều trường hợp đột phá công nghệ đáng chú ý.
Một công ty công nghệ nổi tiếng đã mã nguồn mở một khung công tác, có thể chuyển đổi video đơn thành nội dung 4D góc nhìn tự do, với mức độ chấp nhận của người dùng lên tới 70.7%. Điều này có nghĩa là AI hiện tại có khả năng tự động tạo ra hiệu ứng xem từ bất kỳ góc độ nào, điều này trước đây cần đến đội ngũ mô hình 3D chuyên nghiệp để hoàn thành.
Một công ty khác đã ra mắt nền tảng tuyên bố có thể tạo ra video "chất lượng điện ảnh" dài 10 giây từ một bức ảnh. Mặc dù tuyên bố này có thể có phần phóng đại, nhưng vẫn đáng mong đợi phiên bản chuyên nghiệp sắp ra mắt.
Công nghệ được phát triển bởi bộ phận nghiên cứu AI của một tập đoàn công nghệ quốc tế có thể đồng bộ tạo ra video 4K và âm thanh môi trường. Điểm nổi bật chính của công nghệ này là việc đạt được sự匹配 ở cấp độ ngữ nghĩa thực sự, vượt qua thách thức của việc đồng bộ âm thanh và hình ảnh trong các cảnh phức tạp, chẳng hạn như sự tương ứng chính xác giữa hành động đi bộ trong hình ảnh và âm thanh bước chân.
Một mô hình AI của một công ty truyền thông xã hội, sở hữu 8 tỷ tham số, có thể tạo ra video 1080p trong 2.3 giây, với chi phí 3.67 nhân dân tệ/5 giây. Mặc dù chất lượng tạo ra trong các cảnh phức tạp còn có không gian để cải thiện, nhưng việc kiểm soát chi phí đã khá tốt.
Các đột phá công nghệ này có giá trị và ý nghĩa to lớn trong việc cải thiện chất lượng video, giảm chi phí sản xuất và mở rộng các ứng dụng. Xét về mặt kỹ thuật, độ phức tạp của việc tạo video đa phương thức là cấp số nhân. Nó không chỉ phải xử lý các điểm pixel của hình ảnh đơn lẻ, mà còn phải đảm bảo tính nhất quán theo thứ tự thời gian của video, đồng bộ âm thanh, cũng như tính nhất quán trong không gian 3D. Hiện nay, thông qua việc phân tách mô-đun và hợp tác giữa các mô hình lớn, nhiệm vụ phức tạp này đã trở nên khả thi.
Về chi phí, đằng sau là sự tối ưu hóa của chính kiến trúc suy diễn, bao gồm chiến lược sinh phân lớp, cơ chế tái sử dụng bộ nhớ đệm và phân bổ tài nguyên động. Những tối ưu hóa này đã làm giảm đáng kể chi phí sản xuất video.
Những tiến bộ công nghệ này đã tạo ra tác động lớn đến lĩnh vực ứng dụng. Sản xuất video truyền thống là một ngành công nghiệp cần đầu tư lớn, yêu cầu nhiều thiết bị, không gian, diễn viên và quá trình hậu kỳ. Trong khi đó, công nghệ AI đã đơn giản hóa quá trình này thành việc nhập từ khóa và chờ đợi vài phút, đồng thời còn có thể đạt được những góc nhìn và hiệu ứng mà việc quay phim truyền thống khó có thể thực hiện được. Điều này có thể dẫn đến việc tái cấu trúc toàn bộ nền kinh tế sáng tạo.
Những thay đổi trong nhu cầu của công nghệ AI Web2 đã ảnh hưởng đến AI Web3. Đầu tiên, cấu trúc nhu cầu về sức mạnh tính toán đã thay đổi, việc tạo video đa mô hình cần sự kết hợp sức mạnh tính toán đa dạng, điều này có thể làm tăng nhu cầu về sức mạnh tính toán phân tán không sử dụng. Thứ hai, nhu cầu về việc gán nhãn dữ liệu cũng sẽ tăng cường, việc tạo video chuyên nghiệp cần mô tả cảnh chính xác, hình ảnh tham khảo, phong cách âm thanh và các dữ liệu chuyên môn khác. Cuối cùng, AI từ việc phân phối tài nguyên quy mô lớn tập trung dần chuyển sang hợp tác mô-đun, điều này bản thân đã tạo ra nhu cầu mới cho các nền tảng phi tập trung.
Trong tương lai, sức mạnh tính toán, dữ liệu, mô hình và cơ chế khuyến khích có thể tạo thành một vòng quay tự củng cố, thúc đẩy sự hòa nhập giữa các cảnh Web3 AI và Web2 AI. Xu hướng này sẽ mang lại những cơ hội và thách thức mới cho toàn bộ hệ sinh thái AI.