只要三步阿里云DLA幫你處理海量JSON數據

您可能有大量應用程序產生的JSON數據，您可能需要對這些JSON數據進行整理，去除不想要的字段，或者只保留想要的字段，或者僅僅是進行數據查詢。

那么，利用阿里云DataLakeAnalytics或許是目前能找到的云上很為便捷的達到這一目標的服務了。僅僅需要3步，就可以完成對海量JSON數據的處理，或者更為復雜的ETL流程。

利用各種手段，將JSON數據投遞到OSSs://www.aliyun.com/product/oss）中。

通常，對于云上日志鏈路，還有一種JSON到OSS的投遞鏈路，可以參考“云原生日志數據分析上手指南”其中的JSON部分。

參考上述“云原生日志數據分析上手指南”，其中已經有海量JSON數據的分區模式建表方法了。本例中，以非分區表為例，假設，數據文件中每一行一個JSON數據，JSON數據放置的OSS路徑為：

則，在DLA中執行建表：

json_remove

從JSON中去除指定JSONPath的數據。可以一次處理一個JSONpath，也可以一次處理多個JSONpath。注重：目前還不支持“..”等JSONpath的模糊匹配，不久后會支持。

示例：

json_reserve

從JSON中保留指定JSONPath的數據，去除其他的數據。可以一次處理一個JSONpath，也可以一次處理多個JSONpath。注重：目前還不支持“..”等JSONpath的模糊匹配，不久后會支持。

示例：

還可以利用DataLakeAnalytics強大的云上數據處理能力，進行多源數據融合處理、分析，回流到其他數據庫、存儲系統中。

更多信息請參考：s://datalakeanalytics.console.aliyun.com/overview

-----------------------------------

本文作者：Roin